当地时间12月4日，美国FDA发布《关于人工智能器械软件功能预定变更控制计划提交建议》最终指南。

 

指南介绍和范围

 

FDA 认识到人工智能设备（也称为人工智能设备软件功能或 AI-DSF）的开发是一个迭代过程。本指南描述了一种通常对制造商负担最小的方法，通过修改 AI-DSF 来支持迭代改进，同时继续合理保证设备的安全性和有效性。因此，本指南表明 FDA 更广泛地致力于开发创新方法来监管整个设备软件功能。

 

具体来说，本指南就包含一个或多个 AI-DSF 的器械的上市申请中的预定变更控制计划 (PCCP) 所应包含的信息提出了建议。该指南建议 PCCP 描述计划的 AI-DSF 修改、开发、验证和实施这些修改的相关方法，以及对这些修改的影响的评估。FDA 将 PCCP 作为器械上市申请的一部分进行审查，以确保器械的持续安全性和有效性，而无需为实施 PCCP 中描述的每项修改而提交额外的上市申请。

 

本指南适用于制造商打算随时间修改的AI-DSF。这包括对人工智能模型的修改自动实施的AI-DSF（即，修改由软件自动实施，也称为“持续学习”），对人工智能模型的修改手动实施的AI-DSF（即，涉及需要人工输入、行动、审查和/或决策的步骤，因此不是自动实施的），或两者的组合。

 

虽然本指南中针对PCCP的建议和内容旨在广泛适用于所有支持AI的器械，但FDA审查的大多数包含PCCP的营销提交都是针对包含AI子集（称为ML）的器械提交的。因此，本指南中的许多建议都是针对包含ML的器械量身定制的。

 

本指南描述了一种通常对制造商来说负担最小的方法，以支持修改 AI-DSF 的能力，同时保持该设备在预期使用人群中的安全性和有效性。

 

具体来说，本指南包括了关于 AI-DSF 上市申请的 PCCP 中应包含的信息的建议。

 

定义

 

A. 软件功能

 

人工智能（AI）：以机器为基础的系统，能够针对人类定义的特定目标，对真实或虚拟环境做出预测、建议或决策。人工智能系统使用基于机器和人类的输入来感知真实和虚拟环境；通过自动分析将这些感知抽象为模型；并使用模型推理来制定信息或行动方案。

 

机器学习（ML）： 一套可用于训练人工智能算法的技术，以提高基于数据的任务性能。

 

设备软件功能 (DSF)： 如 FDA 的其他指南所述，“功能 ”一词是产品的一个独特用途，可以是产品的预期用途或预期用途的子集。

 

人工智能设备软件功能 (AI-DSF)： 实现人工智能模型的设备软件功能（如上定义）。AI-DSF 是本指南的重点。

 

B. 数据集

 

训练数据： 这些数据通常应代表拟议的预期使用人群（例如，在种族、民族、疾病严重程度、性别、年龄或其他方面，视情况而定）和预期环境。

 

调整数据： 这些数据通常由人工智能-DSF 的制造商用来评估少量经过训练的人工智能模型。这一过程涉及多方面的探索，包括不同的架构或超参数。=调整阶段发生在 AI-DSF 的测试阶段之前，是训练过程的一部分。虽然AI和 ML 界有时使用 “验证 ”一词来指调整数据和阶段，但 FDA 在此不使用 “验证 ”一词。

 

测试数据：这些数据用于描述AI-DSF的性能。进行测试是为了在AI-DSF部署或上市前提供证据，以确定其性能。测试阶段还将提供证据，以证明在部署或销售艾滋病预警系统之前，该系统的安全性和有效性得到了合理的保证。这些数据通常应代表拟议的预期使用人群（例如，在种族、民族、疾病严重程度、性别、年龄或其他方面）和预期环境。测试数据应独立于用于训练和调整的数据，通常应来自不同于用于生成训练和调整数据的多个地点。

 

C. 预定变更控制计划

 

预定变更控制计划 (PCCP)： 说明将对设备进行哪些修改以及如何对修改进行评估的文件。PCCP 中描述的修改包括本来需要 PMA 补充或新的上市前通知的器械修改。AI-DSF 的 PCCP 是本指南的重点。

 

授权预定变更控制计划（Authorized PCCP）： 通过器械上市授权审查和建立的 PCCP。经授权的 PCCP 是经授权设备的技术特征，它是与该设备一起建立的。

 

修改协议：描述在开发、验证和实施 PCCP 的 “修改说明 ”部分中规定的修改时所应遵循的方法的文件。

 

PCCP 的 “修改说明 ”部分中规定的修改方法。修改规程包括这些修改的验证和确认活动（包括预先定义的验收标准），旨在逐步说明如何实施 PCCP 中的修改，同时确保设备仍然安全有效。

 

影响评估：对实施 PCCP 的效益和风险进行评估的文件，以及降低风险的计划。

 

本次指南具体内容较多，篇幅有限就不再本文中介绍，感兴趣的制造商可以详细阅读指南原文

 

https://www.fda.gov/media/166704/download

 

我们在最后将FDA介绍采用PCCP的AI-DSF的方案供制造商学习。

 

采用 PCCP 的 AI-DSF 示例方案

 

本附录中的示例说明了可以使用 PCCP 的不同 AI-DSF 场景。由于 AI-DSF 的复杂性，所有示例均为假设，并不反映任何具体的授权设备。

 

每个示例的开头都简要描述了授权设备及其预期用途，以及授权 PCCP 中 “修改说明 ”中一项修改的摘要（在示例中表示为 “预先指定修改的简要概述”）。

 

请注意，本附录中提供的设备和修改概述并不打算反映 PCCP 中 “修改说明 ”部分的完整内容或预期细节。相反，根据本指南中的建议，PCCP 中应更详细地描述拟议的修改。描述授权后的修改方案是为了说明如何实施 PCCP。如本指南第五节所述，如果 PCCP 中的 “修改说明 ”中已明确说明修改内容，且已按照 “修改规程 ”执行，则 FDA 认为该修改符合授权后的 PCCP。授权后的修改分为两种情况：

 

1）与授权的 PCCP 一致，无需提交新的上市申请即可实施；

 

2）与授权的 PCCP 不一致，可能需要提交新的上市申请。

 

由于 AI-DSF 的复杂性，要在下文有限的例子中描述完整的 PCCP 的所有相关考虑因素是不切实际的。因此，虽然这些例子突出了一些重要的概念，可以为 PCCP 的开发和使用提供信息，但 PCCP 将根据特定 AI-DSF 的具体情况，基于各种因素，包括对效益和风险的科学有效评估。

 

FDA 建议，在提交包含 PCCP 的上市申请之前，通过 Q-Submission Program 与适当的 FDA 审查部门讨论 PCCP 战略。作为上市申请的一部分，制造商应提供 PCCP，包括修改说明（指南第六部分）、修改规程（指南第七部分）和影响评估（指南第八部分）。

 

(1) 病人监护软件

 

背景：

 

该设备是一种 AI-DSF，用于高危医疗环境（如重症监护室）。该软件从主病人监视器获取生理信号（如心电图、血压、脉搏氧饱和度）。人工智能模型对生理信号进行处理和分析，以检测生理不稳定开始时出现的模式。当检测到生理不稳定时，就会发出声音报警信号，提示需要及时采取临床措施，防止对患者造成潜在伤害。该人工智能医疗设备已获得 PCCP 授权。

 

预设修改概述：

 

制造商希望使用更多数据重新训练人工智能模型，以降低误报率，同时保持或提高对生理不稳定性发生的灵敏度。基线灵敏度为 y%。制造商希望证明，与原始设备（即未作任何修改的设备版本）相比，误报率有显著改善，同时灵敏度保持在 z% 的预先规定的非劣效性范围内。

 

授权后修改方案：

 

修改方案 1：与设备性能定量测量有关的修改，如 PCCP 所规定，并按照 PCCP 实施

 

根据修改协议，收集数据并用于重新训练人工智能模型。按照《修改规程》规定的方法，对修改后的人工智能模型进行了测试。

 

结果表明，误报率明显降低，而平均灵敏度估计值在统计学上处于基线灵敏度 y% 的拟议非劣效值范围内。根据修改后的 AI-DSF 性能更新了标签，并与设备用户进行了沟通。由于该设备的修改在 PCCP 中已明确规定，且其实施符合 PCCP 的要求，因此该设备的修改不需要提交新的上市申请。制造商应根据其质量体系记录 PCCP 中规定的修改。

 

修改方案 2：PCCP 中未规定的超出器械性能定量指标的修改

 

根据 “修改规程”，制造商利用更多数据重新训练了人工智能模型，以提高灵敏度。分析验证表明，修改后的人工智能模型的误报率和灵敏度与前一版本相同。不过，制造商也注意到，修改后的人工智能模型保持了相同的灵敏度，现在还能在生理不稳定发生之前提前预测，而前一版本的人工智能模型则无法做到这一点。制造商希望更新设备的使用适应症，以反映出这一额外的性能要求，即在生理不稳定性发生之前进行预测，而这一要求之前并未包含在 PCCP 中。PCCP 中未明确规定用于预测未来状态的分析、性能和统计方法。由于 PCCP 中未包含的这一修改可能会严重影响设备的安全性或有效性，因此需要提交新的上市申请。

 

(2) 皮肤病变软件

 

背景：

 

该设备是一款人工智能皮肤病变分析软件，可通过识别和描述皮肤病变的特征（如颜色、随时间变化的面积量化）来分析皮肤病变图像，从而帮助诊断。它已通过特定相机的验证，供初级医疗保健提供者使用。该人工智能医疗设备已获得 PCCP 授权。

 

预指定修改概述：

 

制造商希望将 AI-DSF 扩展到其他通用计算平台，包括智能手机和平板电脑。通用计算平台必须包含一个符合 PCCP 中定义的最低规格的二维摄像头。更新后的设备必须使用指定方法达到修改协议中规定的最低性能。

 

授权后修改方案：

 

修改场景1：根据PCCP的规定修改输入，并按照PCCP实施

 

制造商的分析验证表明，AI-DSF 可以部署在另外两款智能手机上，这两款手机的图像采集规格符合 PCCP 规定的最低规格。根据《修改协议》的规定，使用新图像采集系统的分析性能在统计上等同于基线性能。对标签进行了更新，以反映新的 AI-DSF 与更多智能手机的兼容性，这可能会增加医疗界对 AI-DSF 的使用。此外，还提供了有关设备兼容性的最新通信信息。由于设备修改已在 PCCP 中明确规定，且其实施符合 PCCP，因此设备修改不需要提交新的上市申请。制造商应根据其质量体系记录 PCCP 中规定的修改。

 

修改方案 2：修改 PCCP 中未规定的输入内容

 

制造商希望采用一种改进的人工智能模型，该模型使用热像仪捕获的图像；但是，PCCP 中并未规定新的相机技术。由于这种未列入 PCCP 的修改可能会严重影响设备的安全性或有效性，因此需要提交新的上市申请。

 

修改情景 3：与设备的使用和性能有关的修改，PCCP 中未作规定

 

制造商希望分发面向患者的新版 AI-DSF。AI-DSF 将像目前一样，提供皮损生理特征分析，并根据对皮损恶性程度的初步分析，指导患者到皮肤科医生处进行随访。鉴于修改后的 AIDSF 将面向患者，该修改引入了许多新的、未考虑的风险，而这些风险在当前的 PCCP 中尚未得到缓解。由于这种未纳入 PCCP 的修改可能会严重影响设备的安全性或有效性，因此需要提交新的上市申请。

 

(3) 呼吸机设置软件

 

背景：

 

该设备是一款 AI-DSF，用于医疗保健或家庭使用环境。AI-DSF 根据输入数据解释推荐理想的通气参数，然后由医疗服务提供者将其编程到呼吸机中。制造商建议对 AI-DSF 进行修改，以提高其在原始适应症范围内的性能。支持人工智能的医疗设备已获得 PCCP 授权。

 

预指定修改概述：

 

制造商希望对人工智能模型进行重新训练，以优化特定病症患者的特定部位性能，因为之前没有足够的数据可用于这些患者。具体而言，制造商希望修改人工智能模型，以提高其优化呼吸机分钟容量和潮气量设置的能力，从而将指定范围内的变异性降至 ±x%，以改善不同地点该组患者的治疗效果。

 

授权后修改方案：

 

修改方案 1：与设备在特定患者群体中的使用和性能有关的修改，该修改在 PCCP 中明确规定，并根据 PCCP 实施

 

制造商根据新获得的特定疾病患者亚群数据对人工智能模型进行了重新训练和验证。根据 “修改协议 ”收集和分析的其他临床表现数据证明，对新数据的重新培训提高了呼吸机设置建议的可靠性和精确性，显示出改进和专业化的效果，从而改善了特定场所的呼吸机操作。根据《修改规程》中的方法，对更新后的建议进行了患者预后和不良事件验证，这些不良事件可能是由于呼吸机设置不准确造成的。不良事件发生率和结果接受标准已在《修改规程》中确定，因此可用于验证更新后的人工智能模型。对 AI-DSF 进行了更新，以实施重新训练的 AI 模型，并对标签进行了清晰度更新，以告知用户更新后的 AI 模型如何考虑当地经验和流行程度。这一修改仅在适用地点实施。由于该器械修改已在 PCCP 中指定，且其实施符合 PCCP 的规定，因此该器械修改不需要提交新的上市申请。制造商应根据其质量体系记录 PCCP 中规定的修改。

 

修改方案 2：与设备在患者群体子集中的使用和性能有关的修改，该修改在 PCCP 中规定，但未按照 PCCP 实施

 

制造商根据新获得的数据重新训练和验证了人工智能模型，但由于制造商必须执行的参考标准与修改协议中描述的标准不同，因此无法履行协议。尽管 PCCP 中规定了这一修改，但其实施并不符合 PCCP。

 

由于这种未按照 PCCP 实施的修改可能会严重影响器械的安全性或有效性，因此需要提交新的上市申请。