背景

FDA于2023年4月发布了一份有关人工智能的指南草稿——内嵌人工智能/机器学习软件功能(DSF)的医疗器械预变更控制计划(PCCP)，Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence/Machine Learning (AI/ML)-Enabled Device Software Functions，该指南旨在为制造商提供如何在上市前提交中包含PCCP的内容，以及如何通过PCCP支持对ML启用的设备软件功能的迭代改进。

 

FDA将PCCP作为器械上市申请的一部分进行审查，以确保器械的持续安全性和有效性，而无需为实施PCCP中描述的每项修改而提交额外的营销申请。本指南草案中的建议适用于通过 510（k）、De Novo 和 PMA 途径进行审查的设备，包括以设备为主导的组合产品。

 

指南整体结构如下：

 

引言——介绍FDA对于医疗设备软件和其他数字健康技术的创新监管方法，以及AI和ML在医疗设备中的重要性。

 

背景——讨论了FDA对于AI/ML驱动的软件修改的潜在监管方法，包括2019年讨论文件和公共研讨会。

 

范围——适用于制造商计划随时间修改的ML启用软件功能（ML-DSF），包括自动和手动实施的修改。

 

定义——提供了与指南相关的术语定义，如软件功能、数据集、预定变更控制计划（PCCP）等。

 

预定变更控制计划的政策——详细描述了PCCP的组成部分，如何建立PCCP，如何在营销提交中识别PCCP，以及如何利用授权的PCCP实施设备修改。

 

修改描述——介绍了如何详细描述计划对ML-DSF进行的修改，包括修改的目标和内容。

 

修改协议——描述了开发、实施和验证PCCP中描述的修改所遵循的方法。

 

影响评估——提供了对实施PCCP的益处和风险进行评估的文档，以及风险缓解计划。

 

附录A和B提供了修改协议组件的示例元素和使用PCCP的ML-DSF场景。

 

在提交PCCP内容的注册资料时，主要应按照指南修改描述，修改协议和影响评估这几部分中的要求准备。

 

范围

制造商预期长期修改的人工智能/机器学习支持设备软件功能

 

ML-DSFs that the manufacturer intends to modify over time

 

ML-DSF的变更包括自动的和手动的，这两个情况都包含在FDA的监管中。自动的指软件自己发生更新修改，手动的指修改需要人工输入，动作，预览，决策。(类似监督学习和无监督学习的区别)

 

PCCP中指出ML-DSF预期的变更申报授权后，后续每次变更可以无需每次提交额外的上市申报。

 

FDA鼓励尽早与FDA审查部门就拟议的PCCP进行接触，FDA鼓励制造商利用Q-Submission流程获得FDA对ML-DSF拟议PCCP的反馈，特别是组合产品和高风险，维持生命，生命支持或植入式设备。

 

定义

设备软件功能——Device Software Function (DSF)

 

满足FD&C法案第201(h)节中设备定义的软件功能。正如在其他FDA指南中所讨论的，术语“功能”是产品的独特目的，可以是产品的预期用途或预期用途的子集。

 

机器学习支持的设备软件功能——Machine Learning-Enabled Device Software Function(ML- DSF)

 

一种设备软件功能(如上所定义)，实现用机器学习技术训练的机器学习模型。

 

训练数据——Training Data

 

ML-DSF制造商在过程和ML训练算法中使用这些数据来构建ML模型，包括定义模型权重、连接和组件。机器学习模型的训练发生在ML-DSF开发的探索阶段(exploratory phase)之后。这些数据通常应代表拟议的预期使用人群(例如，关于种族、民族、疾病严重程度、性别、年龄等)。结果是一个可操作的ML-DSF。

 

调优数据——Tuning Data

 

ML-DSF制造商通常使用这些数据来评估少量经过训练的ML-DSF，以便探索不同的体系结构或超参数。调优阶段是ML-DSF测试之前的最后一个阶段，通常被认为是训练过程的一部分。ML业界有时用“验证(validation)”一词来指代调优数据和阶段。但是，在提及与用于医疗应用的机器学习模型的训练或调优相关的数据或操作时我们建议不要使用“验证”这个词。

 

测试数据——Testing Data

 

这些数据用于描述ML-DSF的性能。在ML-DSF上市之前，预计测试阶段将提供数据，以建立对安全性和有效性的合理保证。测试数据应该独立于用于训练和调优的数据，并且应该来自多个不同于用于生成训练和调优数据的站点。

 

预定变更控制计划——Predetermined Change Control Plan (PCCP)

 

PCCP中描述的修改包括医疗器械的修改说明、修改方案和影响评估，否则需要PMA补充、重新提交或新的510(k)通知。

 

经授权的PCCP——Authorized PCCP

 

通过器械上市授权审核并建立的PCCP。授权的PCCP是建立与授权器械的技术特征。

 

修改协议——Modification Protocal

 

描述在制定、验证和实施PCCP修改描述部分中描述的修改时将遵循的方法的文件。

 

修改方案包括这些修改的验证和确认活动(包括预定义的接受标准)，旨在逐步描述如何实施PCCP中提出的修改，同时确保设备保持安全和有效。

 

影响评估——Impact Assessment

 

对实施拟议的PCCP的好处和风险以及风险缓解计划进行评估的文件。

 

它可以是PCCP的一个单独部分，也可以合并到修改协议中，以对特定的营销提交负担最小的方式为准。

 

PCCP原则

PCCP组成

PCCP指南主要讲了三个要素：PCCP修改说明、PCCP修改协议、PCCP修改评估。这三部分也是上市前提交给FDA审查所需要的资料。

 

建立PCCP

应通过适当的途径（如510(k)途径、De Novo途径或PMA途径）建立PCCP。制造商实施任何修改之前，必须先通过设备营销授权审查和建立PCCP。

 

PCCP上市提交资料

PCCP部分在提交材料中应单独列出。

 

产品说明书等(labeling)中应指出，设备中使用了机器学习并且有PCCP，因此使用者可能需要进行软件更新，以及更新可能改变设备的性能，输入或使用。

 

使用授权的PCCP对器械进行修改

流程如下

 

 

修改授权设备的PCCP

如果需要对已授权设备中的PCCP进行修改，通常需要通过新的营销提交来进行，因为这构成了对设备的重大变更。

 

修改说明

修改说明部分包括以下内容：

 

PCCP必须包含对计划内的设备修改的详细、具体描述，包括对单个设备修改的罗列清单、ML-DSF各部分修改的理由、与每次修改有关的参考变更的标签。

 

特定修改是可验证和可确认的，这些修改应足够详细以能够被理解。

 

修改说明应清楚表明计划的修改是自动还是手动实施。

 

修改说明应明确是全局变化（所有器械，统一方式）还是局部变化（根据临床地点或个体患者独特特征）。对于局部变化应说明有哪些局部变化因素或条件以确保是局部变化。

 

PCCP中的修改类型包括（并非一切修改都适合被包含在PCCP中）：

 

与ML-DSF的性能规格的定量测量有关的修改（训练数据变化）

 

与ML-DSF的设备输入有关的修改（不同设备的信号源）

 

与设备的使用和性能相关的特定有限修改（例如用于特定人群）

 

修改协议

修改协议（Modification Protocol）部分是预定变更控制计划（PCCP）的另一个关键组成部分，它详细描述了在开发、验证和实施PCCP中描述的修改时将遵循的方法和步骤。这一部分的目的是确保对ML-DSF所做的修改能够在不影响设备安全性和有效性的前提下进行。

 

修改协议部分包括以下内容：

 

数据管理实践：描述用于支持ML-DSF修改的数据收集、处理、存储和使用的方法。这包括数据的来源、数据的质量保证、数据的代表性以及如何防止数据泄露到开发过程中。

 

再训练的实践：详细说明ML模型重新训练的目标、重点和实施方法，包括数据预处理、数据增强、模型结构调整、超参数调整等，以及如何处理重新训练可能引入的偏差。

 

性能评估：描述用于验证修改后的ML-DSF是否满足特定修改的性能规格的过程，包括验证和确认活动的测试方法、数据、统计分析和预定的接受标准。

 

更新程序：说明如何更新ML-DSF以实施修改，包括软件更新的验证和确认计划、更新的实施时间表和方法、用户沟通和透明度，以及对更新过程本身的潜在风险的缓解措施。

 

与修改描述的关联性：确保修改协议中的每个部分都与修改描述部分中的相应修改相对应，以便FDA能够追踪每个修改的支持方法和证据。

 

修改协议部分应提供足够的细节，以便FDA能够理解并评估修改的实施是否符合质量系统法规的要求，并确保修改后的设备继续保持安全和有效。此外，该部分还应证明修改的实施不会引入新的、未缓解的风险，并且修改后的设备将继续满足FDA的安全性和有效性标准。

 

修改协议具体内容参照指南附录A的内容。

 

修改评估

影响评估（Impact Assessment）部分是预定变更控制计划（PCCP）中的关键组成部分，它涉及到对实施PCCP后可能带来的益处和风险进行系统的评估，以及提出相应的风险缓解措施。这一部分的目的是为了确保在实施了PCCP中的修改后，ML-DSF（机器学习启用的设备软件功能）仍然保持安全和有效，并且不会引入新的风险。

 

影响评估部分包括以下内容：

 

将实施了每一项修改的器械版本与未实施任何修改的器械版本进行比较。

 

讨论每一项修改的益处和风险，包括社会危害风险。

 

讨论修改方案中提出的活动如何继续合理地保证器械的安全性和有效性。

 

一项修改的实施如何影响另一项修改的实施

 

实施所有修改的总体影响

 

PCCP中包含的个别修改如何不仅影响ML-DSF，而且如何影响设备的整体功能，包括它们如何影响其他设备软件功能以及设备硬件。

 

附录A ML-DSF修改协议中的内容示例

可以收集不同的数据并用于训练和测试ML模型更新。对于新的训练和测试数据的收集，修改协议应该包括如何使用数据(例如，用于ML模型开发或测试)，以及数据管理如何支持这些用途。

 

附录B 应用PCCP的ML-DSF场景

病人监护软件

背景：该设备是一款用于高风险医疗环境（如重症监护室）的ML-DSF。软件从主要病人监护器获取生理信号（如心电图、血压、脉搏血氧饱和度），并通过ML模型处理和分析，以检测生理不稳定的模式。当检测到生理不稳定时，会产生可听到的报警信号，提示需要及时的临床干预以防止对患者可能的伤害。该ML启用的医疗设备已经获得了带有PCCP的授权。

 

预指定修改概述：制造商希望使用更多的数据重新训练ML模型，以降低误报率，同时保持或提高对生理不稳定开始的敏感性。基线敏感性为y%。制造商希望在保持敏感性在预指定的非劣效性边际z%之内的同时，显著改善误报率。

 

授权后修改场景：

 

修改场景1：与PCCP中规定的内容相关的修改，并且按照PCCP实施。根据修改协议收集并使用数据重新训练了ML模型，并按照规定的方法进行了测试。结果表明，误报率显著降低，而平均敏感性估计在基线敏感性y%的提议非劣效性边际之内。

 

修改场景2：超出了PCCP中规定的性能量化措施的修改。制造商使用额外的数据重新训练了ML模型以提高敏感性。分析验证表明，修改后的ML模型具有与先前版本相同的误报率和敏感性。然而，制造商还注意到，修改后的ML模型在保持相同敏感性的同时，现在还可以提前预测生理不稳定，而先前的ML模型版本无法做到这一点。

 

皮肤病变软件

背景：该设备是一款ML-DSF，通过识别和描述皮肤病变的特征（如颜色、面积随时间的变化量化）来辅助诊断。它使用特定的相机进行了验证，并旨在由初级医疗提供者使用。该设备已经获得了带有PCCP的授权。

 

预指定修改概述：制造商希望将ML-DSF扩展到其他通用计算平台上使用，包括智能手机和平板电脑。通用计算平台必须包含符合PCCP中定义的最低规格的二维相机。更新后的设备必须使用指定的方法实现PCCP中定义的最低性能。

 

授权后修改场景：

 

修改场景1：在PCCP中规定并按照PCCP实施的输入修改。制造商的分析验证表明，ML-DSF可以在两种额外的智能手机上部署，这些智能手机的图像采集规格符合PCCP中提供的最低规格。使用新的图像采集系统进行的分析性能被发现与基线性能统计等效。

 

修改场景2：在PCCP中未规定的输入修改。制造商希望部署一个修改后的ML模型，该模型使用热像相机捕获的图像；然而，这种新的相机技术未在PCCP中规定。

 

呼吸机设置软件

背景：该设备是一款ML-DSF，旨在根据输入数据的解释为医疗或家庭使用环境中的呼吸机推荐理想的通气参数。医疗提供者可以将这些参数编程到呼吸机中。制造商提议对ML-DSF进行修改，以在原始指示范围内改善性能。该设备已经获得了带有PCCP的授权。

 

预指定修改概述：制造商希望重新训练ML模型，以优化特定患者亚群的特定部位性能，这些患者的数据以前不足够。具体来说，制造商希望修改ML模型，以改善其优化分钟体积和潮气量的能力，以减少在特定范围内的变异性，从而改善该患者亚群在不同部位的治疗结果。

 

授权后修改场景：

 

修改场景1：与PCCP中规定并按照PCCP实施的设备使用和性能修改。制造商在新的数据上重新训练并重新验证了ML模型，这些数据是在具有特定疾病的患者亚群中获得的。根据修改协议收集并分析的额外临床性能数据表明，重新训练在新数据上改善了通气设置建议的可靠性和精确性。

 

成像辅助设备

背景：该ML-DSF集成到成像系统中，旨在协助医疗提供者在成人和儿童人群中获取肩部超声图像，通过实时检测潜在异常来突出显示图像的部分。该ML-DSF与设备采集系统集成，使用ML模型分析其输出，如果检测到异常，会向操作员提供实时警报，并在成像过程中自动调整设备采集系统的参数以优化成像。

 

预指定修改概述：制造商希望重新训练其ML模型，以进一步优化异常检测的准确性。PCCP预先规定，在肩部检查期间，异常识别的敏感性和特异性将显著优于基线。

 

授权后修改场景：

 

修改场景1：与PCCP中规定并按照PCCP实施的设备性能量化措施修改。根据修改协议收集的成像数据被用来重新训练ML模型。根据修改协议中指定的测试协议，修改后的ML模型进行了测试。结果表明，异常识别的敏感性和特异性达到了统计上的优越性预规范。

 

喂养管放置X光片分析软件

背景：该设备是一款ML-DSF，用于分析住院患者的胸部X光片以评估喂养管放置情况。ML-DSF重新排序放射科医生的审查队列，以便被识别为喂养管错位可能性更高的X光片被放在队列的前面。该设备已经获得了带有PCCP的授权。

 

预指定修改概述：制造商希望通过在新数据上重新训练来提高ML模型的性能，增加对错位喂养管的敏感性。基线敏感性为x%。此外，制造商希望修改设备，使其在优先级队列中进行优先处理的同时，通知护士检查患者。这一修改需要达到z%的敏感性。

 

授权后修改场景：

 

修改场景1：与PCCP中规定并按照PCCP实施的设备性能量化措施修改和设备的使用和性能修改。制造商根据修改协议描述的，在新获得的数据上重新训练并重新验证了ML模型，显著提高了ML-DSF的敏感性，从x%提高到z%，以检测错误的喂养管放置。通过修改后的设备性能，更新了设备的标签，并启用了通知功能。因为设备修改在PCCP中有规定，并且按照PCCP实施，所以不需要新的营销提交。

 

总结

PCCP可以作为一种有用的工具，用于在器械上市后预先获得FDA授权进行预定的、特定的修改，这可以在器械的整个生命周期中为制造商节省大量的成本、时间和资源。但PCCP也可能增加注册资料提交的复杂性，延迟授权和产品发布，并引发有关信息披露的影响。

 

制造商需要综合权衡自身产品特点及注册策略，酌情合理的运用此指南。