术语“总结性评估(Summative evaluation)”的定义
IEC 62366-1将“总结性评估(Summative evaluation)”定义为在用户-产品界面开发结束时对用户-产品界面进行的评估,目的是为了获得用户-产品界面可以安全使用的客观证据。该标准还指出,它将总结性评估(Summative evaluation)与用户-产品界面的安全使用验证紧密联系起来。
法规要求
IEC 62366-1的要求
该标准要求在总结性评估(Summative evaluation)中做到以下几点:
- 选择与安全相关的使用场景
制造商应在总结性评估(Summative evaluation)中包括所有与安全有关的使用场景,或者根据可能的伤害的严重程度选择这些场景。
- 选择/记录用户(配置文件)
如果评估采取“可用性测试”的形式,制造商必须记录参与最终评估的用户(配置文件)。对于“可用性测试”,该标准指的是参与性观察。
- 创建一个总结性评估(Summative evaluation)的计划
在该计划中,制造商必须确定:
他们想用哪种方法来进行最终评价(并证明这一点);
他们涉及用户-产品界面的哪一部分;
必须满足哪些标准才能决定用户是否可以安全使用产品,以及;
在可用性测试的情况下,使用环境以及收集和评估数据的方法,特别是使用错误。
- 总结性评估(Summative evaluation)的方法
该标准没有规定你必须使用哪些方法来进行总结性评估(Summative evaluation),常用的方法有:
“可用性测试”(参与观察)---按照规定,这应该是标准;
认知性演练,例如与目标用户一起演练;
可用性专家的检查。
总结性评估(Summative evaluation)也可以包括这些方法中的几种。然而,需要注意的是:你必须证明,用户-产品界面的设计方式,用户在与安全有关的使用场景中的错误不会导致(不可接受的)风险。如果没有可用性测试,你很难成功进行这样的证明。IEC 62366-1:2015也是这样认为的。这意味着如果你选择不同的路径,你必须给出理由。该标准允许"遗留产品"的例外情况。
- 进行总结性评估(Summative evaluation)
最后,制造商必须进行总结性评估,如果发现与安全有关的用户问题,就修改用户界面,否则就决定是否以及如何进一步改进用户界面。制造商必须证明他们的决定是正确的,并将风险考虑在内,对其进行评估。
FDA的要求
FDA在相关的指导文件中制定了他们对专业可用性工程的想法--他们称之为人因工程:
§Draft Guidance for Industry and Food and Drug Administration Staff - Applying Human Factors and Usability Engineering to Optimize Medical Device Design
§Medical Device Use-Safety: Incorporating Human Factors Engineering into Risk Management
FDA没有使用总结性评估(Summative evaluation)这一术语,而是谈到了“人的因素验证测试(Human Factors Validation Testing)”。
结论
与FDA相比,IEC 62366-1:2020不一定要求以可用性测试的形式进行可用性验证,即在一个有代表性的(也是模拟的)使用环境中对有代表性的用户进行参与观察。解释性标准IEC 62366-2:2015写道:“Summative evaluation generally involves performing a usability tests conducted under conditions of simulated use.” 该标准将可用性测试理解为以参与性观察的形式对用户进行验证。换句话说:从形式上看,可用性测试,即可用性验证,已经不再是规定的。但它通常是被期待的。“只有”形成性评估和总结性评估是需要的。