1.形成性评估(Formative Assessment):定义
a) 定义
IEC 62366-1:"进行的用户界面评估,目的是探索用户界面设计的优点、缺点和未预料到的使用错误"。因此,形成性评价(Formative Assessment)必须被正确理解为对用户-产品界面的开发---伴随性评价。它的目的是为了发现用户-产品界面的优点和缺点,以及未预见的使用错误。
b) 差异化:形成性(Formative Assessment)和总结性(Summative Assessment)评估与验证和确认的区别
IEC 62366-1要求进行形成性(开发-伴随性)评估和总结性(最终)评估,而不是验证和确认可用性。实际上,这两对术语之间没有什么关系---除了它们都与测试可用性有关之外。相反,这两对术语指的是不同的方面:可用性确认和验证在测试的目标上有所不同。另一方面,形成性评估(Formative Assessment)和总结性评估(Summative Assessment)这两个术语区分了检查的时间。
2. 形成性评估(Formative Assessment):法规要求
a) IEC 62366-1
IEC 62366-1要求规划和实施形成性评估(发展-伴随性)和总结性(最终)评估。该标准没有指定任何方法;但它要求制造商计划:
- 他们使用哪些方法进行评估(并说明选择的理由);
- 他们何时进行这些评估;
- 对用户-产品界面的哪些部分进行评估;
- 他们根据哪些标准进行测试,以及;
- 对哪些用户以及在哪些使用环境中进行评估。
当然,这些计划以及评估的实施、结果和评价必须被记录下来。
b) FDA
FDA在指导文件“Applying Human Factors and Usability Engineering to Medical Devices”中制定了其要求。第6.4.3章详细论述了形成性评估。
- 目标
根据FDA的说法,形成性评估(Formative Assessment)使制造商能够:
识别未知的与用户有关的危险、用户错误和关键任务;
及时实施对用户-产品界面的改变;
验证用户界面上风险缓解措施的有效性;
确定培训的需要,以及;
衍生出验证计划的内容。
-方法
虽然美国当局没有要求具体的方法,但它写道:
“Formative evaluation complements and refines the analytical approaches described in Section 6.3, revealing use issues that can only be identified through observing user interaction with the device.”
因此,FDA显然将形成性评估(Formative Assessment)与涉及用户的方法联系起来,而不是纯粹的验证活动。FDA没有排除公司员工作为用户,但写道“their performance and opinions could be misleading or incomplete”。
然而,在同一份文件中,很明显FDA并不把参与者的观察作为唯一允许的方法。该机构还提到了“cognitive walk-through, observation, discussion, interview”。
- 规划
根据FDA的规定,形成性评估(Formative Assessment)的计划应该明确:
评估的目标和重点;
要评估的用户-产品界面的要素;
使用场景和任务;
参与者/用户;
数据收集和数据分析的方法;
如何进一步使用评估结果;
这些要求几乎与IEC 62366-1的要求完全吻合。
- 文件
形成性评估(Formative Assessment)期间产生的文件在FDA指南“Content of Human Factors Information in Medical Device Submissions”中有所规定。
3. 形成性评估(Formative Assessment)方法
许多方法都适合于形成性(发展-伴随)评估。可能的有如:
- 认知性演练;
- 验证,例如:对照、启发式方法和设计模式;
- 用不同质量的原型(低保真、高保真)进行可用性测试(参与观察);
- 访谈;
- 问卷调查
在形成性评估(Formative Assessment)中,我们建议:
- 应用这些方法中的几种;
- 在开发过程中尽早地、反复地进行评估。
形成性评估(Formative Assessment)应该被用来在早期阶段识别可用性问题,否则总结性评估(可用性测试)可能会失败;然后,这本身就会成为一个形成性评估(Formative Assessment),因为随后对用户-产品界面的改进将是必要的。
4.结论
形成性评价(Formative Assessment)对于医疗器械来说既是强制性的,又是有用的。它有助于更快地识别和消除可用性问题,而且事半功倍。这为制造商节省了资金,使他们的产品更快地进入市场。由于缺乏可用性而导致的风险很有可能已经被充分地减少了。