您当前的位置:检测资讯 > 法规标准

人工智能医学软件产品现场检查指导原则发布(附全文)

嘉峪检测网        2022-12-17 17:45

近日,广东药监局器审中心发布《人工智能医学软件产品现场检查指导原则发布(附全文)》,全文如下:

 

人工智能医学软件产品现场检查指导原则

 

第一部分  范围和原则

 

1.1 本指导原则是人工智能医学信息系统软件审评指导体系构建的组成部分,基于医疗器械生产质量管理规范、医疗器械生产质量管理规范附录独立软件、医疗器械生产质量管理规范独立软件现场检查指导原则、人工智能医疗器械审评指导原则的通用要求,细化了人工智能医学软件生产质量管理体系的特殊要求。

1.2 本指导原则适用于第二类、第三类人工智能独立软件以及软件组件(软件组件参照执行)。

1.3 本指导原则遵循软件生存周期过程和网络安全的基本原则和通用要求,用于指导人工智能医学软件的生产质量管理体系现场检查,不涉及相关行政审批事项,亦不作为法规强制执行,应在遵循相关法规的前提下使用本指导原则。

本指导原则是在现行法规和标准体系以及当前认知水平下制定的,随着法规和标准的不断完善,以及科学技术的不断发展,在使用过程中应对相关内容适时进行调整。

 

第二部分  特殊要求

 

2.1 人员

2.1.1 软件开发、测试、维护人员应当具备与岗位职责要求相适宜的专业知识、实践经验和工作能力。人工智能软件健康数据采集人员、人工智能算法测试人员应经培训及考核通过后方可进行数据采集或测试。

2.1.2 黑盒测试应当保证同一软件项的开发人员和测试人员不得互相兼任。

2.1.3 用户测试人员应当具备适宜的软件产品使用经验,或经过培训具备适宜的软件产品使用技能。

2.1.4应明确数据采集人员、标注人员、审核人员、仲裁人员的选拔、培训、考核等要求。

2.2 设备

2.2.1 应当在软件生存周期过程持续提供充分、适宜、有效的软件开发和测试环境,包括软硬件设备、开发测试工具、网络等资源以及病毒防护、数据备份与恢复等保证措施。

2.2.2 软件开发和测试环境维护应当形成文件,确定软件开发和测试环境定期验证、更新升级、病毒防护等活动要求,保持相关记录。

2.2.3数据采集设备管理应明确兼容性和采集特征等要求。

2.2.4数据标注基础设施管理应明确标注场所、标注环境条件、标注软件等要求。

2.3 设计开发

2.3.1 应当结合软件生存周期模型特点建立软件生存周期过程控制程序并形成文件,确定软件开发策划、软件需求分析、软件设计、软件编码、验证与确认、软件更新、风险管理、缺陷管理、可追溯性分析、配置管理、文件与记录控制、现成软件使用、网络安全保证、软件发布、软件部署、软件停运等活动要求。

2.3.1.1人工智能医学软件应结合质量管理体系要求,参考软件、人工智能相关标准和良好工程实践,建立人工智能医学生存周期过程,开展与软件安全性级别相匹配的产品质量保证工作,将风险管理、可追溯分析贯穿于生存周期全程,形成记录。

2.3.2 软件生存周期过程质量保证活动要求应当与软件安全性级别相适宜。软件安全性级别应当在采取风险控制措施之前,结合软件的预期用途、使用场景和核心功能进行综合判定,并仅可通过外部风险控制措施降低级别。

2.3.3 应当依据风险管理控制程序实施软件风险管理活动,结合产品识别、分析、评价、控制和监测软件功能、接口、用户界面、现成软件、网络安全等风险,并贯穿于软件生存周期全过程。

2.3.3.1人工智能医学软件应明确算法的软件安全性级别(轻微、中等、严重)并详述判定理由。应形成算法风险管理资料,明确过拟合与欠拟合、假阴性与假阳性、数据污染与数据偏倚(如数据扩增)等风险的控制措施。

2.3.4 软件配置管理应当建立控制程序并形成文件,规范软件版本、源代码、文件、工具、现成软件、算法模型、数据库等控制要求,确定配置标识、变更控制、配置状态记录等活动要求。使用配置管理工具保证软件质量,并贯穿于软件生存周期全过程。

2.3.5 软件版本控制应当基于合规性要求确定软件版本命名规则,涵盖软件、现成软件、网络安全的全部软件更新类型,各字段含义应当明确且无歧义无矛盾。软件版本变更应当符合软件版本命名规则的要求。

2.3.5.1人工智能医学软件版本控制应涵盖软件算法更新类型(算法驱动型更新或数据驱动型更新),明确并区分重大软件更新和轻微软件更新。

2.3.6 软件可追溯性分析应当建立控制程序并形成文件,涵盖现成软件、网络安全的控制要求,形成软件可追溯性分析报告以供评审。使用可追溯性分析工具保证软件开发、软件更新过程满足可追溯性要求,并贯穿于软件生存周期全过程。

2.3.7 现成软件使用应当形成文件,确定风险管理、验证与确认、缺陷管理、可追溯性分析、软件更新、配置管理、文件与记录控制、网络安全保证等活动要求。遗留软件还应当确定现有文件、上市后使用情况、用户投诉、不良事件、召回情况等评估活动要求。使用开源软件应当遵循相应开源许可协议。

2.3.8 软件开发策划应当确定软件需求分析、软件设计、软件编码、验证与确认、风险管理、缺陷管理、可追溯性分析、配置管理、文件与记录控制、现成软件使用、网络安全保证、评审等活动计划,形成相关文件和记录,并适时更新。软件开发策划应当保证软件开发和测试的人员及环境与软件开发要求相适宜。

2.3.9 软件需求分析应当综合分析法规、标准、用户、产品、功能、性能、接口、用户界面、网络安全、警示提示等软件需求,确定风险管理、可追溯性分析、现成软件使用评估、软件确认测试计划创建、评审等活动要求,形成软件需求规范和评审记录并经批准,适时更新并经批准。可追溯性分析此时应当分析软件需求与风险管理、软件需求与产品需求的关系。

2.3.9.1人工智能医学软件需求分析应包括数据收集、算法性能、使用限制等要求。

2.3.10 软件设计应当依据软件需求规范实施软件体系架构、功能、性能、算法、接口、用户界面、单元、网络安全等设计,确定风险管理、可追溯性分析、现成软件使用评估、软件验证测试计划创建、评审等活动要求,形成软件设计规范和评审记录并经批准,适时更新并经批准。可追溯性分析此时应当分析软件设计与软件需求之间的关系。

2.3.10.1人工智能医学软件算法设计应当明确算法选择、算法训练、算法性能评估等要求。

2.3.11 软件编码应当依据软件设计规范实施,确定源代码编写与注释、现成软件使用、可追溯性分析、各级测试用例创建、评审等活动要求,形成评审记录,并适时更新。源代码编写与注释应当符合软件编码规则文件的要求。测试用例应当保证软件验证与确认测试的充分性、适宜性、有效性。可追溯性分析此时应当分析源代码与软件设计、源代码与测试用例的关系。

2.3.12 软件验证应当确定源代码审核、静态分析、动态分析、单元测试、集成测试、系统测试、评审等活动要求,涵盖现成软件、网络安全的验证要求,并保持相关记录。白盒测试应当确定语句、判定、条件、路径等测试覆盖率要求,并与软件安全性级别相适宜。

2.3.13 单元测试、集成测试、系统测试应当依据相应测试计划实施,涵盖现成软件、网络安全的测试要求,确定缺陷管理、风险管理、可追溯性分析、评审等活动要求,形成相应软件测试记录、测试报告以及评审记录,并适时更新。可追溯性分析此时应当分析各级测试用例与软件设计、系统测试与软件需求、系统测试与风险管理的关系。

2.3.14 软件确认应当确定用户测试、临床评价、评审等活动要求,涵盖现成软件、网络安全的确认要求,并保持相关记录。保证软件满足用户需求和预期目的,且软件已知剩余缺陷的风险均可接受。

2.3.14.1人工智能医学软件确认测试应当基于用户需求,由预期用户在真实或模拟使用场景下予以开展,亦可基于测评数据库予以开展。

2.3.15 用户测试应当依据用户测试计划在真实使用环境或模拟使用环境下实施,涵盖现成软件、网络安全的测试要求,确定缺陷管理、风险管理、可追溯性分析、评审等活动要求,形成用户测试记录、测试报告以及评审记录并经批准,适时更新并经批准。可追溯性分析此时应当分析用户测试与用户需求、用户测试与风险管理的关系。

2.3.16 软件更新应当形成文件,涵盖现成软件、网络安全的变更控制要求,确定软件更新请求评估、软件更新策划、软件更新实施、风险管理、验证与确认、缺陷管理、可追溯性分析、配置管理、文件与记录控制、评审、用户告知等活动要求,形成相关文件和记录并经批准,适时更新并经批准。软件版本变更应当与软件更新情况相匹配。验证与确认应当根据软件更新的类型、内容和程度实施相适宜的回归测试、用户测试等活动。

2.3.16.1人工智能医学若发生算法更新、软件更新,均应当按照质量管理体系的要求,开展与算法更新、软件更新的类型、内容和程度相适宜的验证与确认活动,将风险管理、可追溯分析贯穿于更新全程,形成记录。

2.3.16.2对于训练集调整后的软件更新,应当进行回归测试并形成相应的验证记录。

2.3.17 软件缺陷管理应当形成文件,确定软件缺陷评估、软件缺陷修复、回归测试、风险管理、配置管理、评审等活动要求,形成软件缺陷分析报告以供评审。使用缺陷管理工具保证软件质量,并贯穿于软件生存周期全过程。

2.3.18数据收集应明确数据采集、数据整理、数据标注、数据集构建等活动的质控要求,以保证数据质量和算法训练效果。

2.3.18.1数据采集应明确采集设备、采集过程、数据脱敏等质控要求,并建立数据采集操作规范。数据采集亦可使用历史数据,需结合样本规模、采集难度等影响因素合理选择数据采集方式。若适用,数据采集需经伦理委员会批准。

2.3.18.2采集的数据应进行数据脱敏以保护患者隐私,数据脱敏需明确脱敏的类型(静态、动态)、规则、方法以及脱敏内容的确定依据。

2.3.18.3数据整理应基于原始数据库明确数据清洗、数据预处理的质控要求。

2.3.18.4数据标注需建立数据标注操作规范,明确标注资源管理、标注过程质控、标注质量评估等要求。

2.3.18.5数据集构建明确训练集、调优集、测试集的划分方法、划分依据、数据分配比例。训练集原则上需保证样本分布具有均衡性,测试集、调优集原则上需保证样本分布符合真实情况,训练集、调优集、测试集的样本应两两无交集并通过查重予以验证。

2.3.18.6应对第三方数据库的应用管理形成文件,明确来源、保存、确认和使用要求,包括预期目的、来源、版本、数据库容量、更新情况、使用情况等。

2.4 采购

2.4.1 现成软件采购应当形成文件,根据现成软件的类型、使用方式、对产品质量影响程度,确定分类管理、质量控制、供应商审核等活动要求。

2.4.2 应当与供应商签订外包软件质量协议,明确外包软件需求分析、交付形式、验收方式与准则、设计开发文件交付、知识产权归属、维护等要求以及双方质量责任承担要求。

2.4.3 云计算服务协议应当明确网络安全保证、患者数据与隐私保护等责任承担要求。

2.4.4数据来源应当形成文件,应当明确数据来源的合规性,必要时应形成科研合作协议或伦理批件,明确数据收集活动要求。

2.5 生产管理

2.5.1 软件发布应当形成文件,确定软件产品文件创建、软件产品与文件归档备份、软件版本识别与标记、交付形式评估与验证、病毒防护等活动要求,保证软件发布的可重复性。

2.5.2 物理交付方式应当确定软件产品复制、许可授权以及存储媒介包装、标记、防护等要求,网络交付方式应当确定软件产品标记、许可授权、网络安全保证等要求。

2.6 质量控制

2.6.1 软件产品放行应当形成文件,确定软件版本识别、安装卸载测试、产品完整性检查、放行批准等活动要求,保持相关记录。

2.7 销售和售后服务

2.7.1 软件部署应当形成文件,确定交付、安装、设置、配置、用户培训等活动要求,保持相关记录。

2.7.2 软件停运应当形成文件,确定停运后续用户服务、数据迁移、患者数据与隐私保护、用户告知等活动要求,保持相关记录。

2.7.3在中国境内收集和产生的重要数据、个人信息和人类遗传资源信息应当在中国境内存储,因科学研究开发活动、业务需要向境外提供的,应当遵守国务院科学技术行政部门制定技术规范,按照国家网信部门会同国务院有关部门制定的办法进行安全评估。

2.7.4软件远程维护与升级应明确远程维护与升级的实现方法、所用电子接口情况、设备数据所含内容、设备数据与医疗数据的隔离方法、网络安全保证措施等技术特征。

2.8 不良事件监测、分析和改进

2.8.1 数据分析控制程序应当涵盖软件缺陷、网络安全事件要求。

2.8.2 网络安全事件应急响应应当形成文件,确定网络安全事件风险管理、应急响应措施验证、用户告知、召回等活动要求。     

2.8.3应对缓解网络安全风险采用的技术措施的有效性进行验证,保持相关记录。

 

第三部分 术  语

 

3.1 下列术语的含义是:

独立软件:具有一个或多个医疗目的,无需医疗器械硬件即可完成自身预期目的,运行于通用计算平台的软件。

软件组件:具有一个或多个医疗目的,控制、驱动医疗器械硬件或运行于医用计算平台的软件。

人工智能医学软件:采用人工智能技术的医疗器械独立软件和医疗器械软件组件。

软件安全性级别:基于软件风险程度分为轻微、中等和严重,其中轻微即软件不可能产生伤害,中等即软件可能直接或间接产生轻微伤害,严重即软件可能直接或间接产生严重伤害或导致死亡。

软件验证:通过提供客观证据认定软件开发、软件更新某一阶段的输出满足输入要求。

软件确认:通过提供客观证据认定软件满足用户需求和预期目的。

软件可追溯性分析:追踪软件需求、软件设计、源代码、软件测试、软件风险管理之间的关系,分析已识别关系的正确性、一致性、完整性和准确性。

软件更新:生产企业在软件生存周期全过程对软件所做的任一修改,亦称软件变更或软件维护。

软件停运:生产企业在软件生存周期过程末期终止对软件的售后服务和销售,亦称软件退市。

现成软件:生产企业未进行完整生存周期控制的软件,包括遗留软件、成品软件、外包软件。

遗留软件:生产企业以前开发但现在不能得到足够开发记录的软件。

成品软件:已开发且通常可得到的,但生产企业未进行完整生存周期控制的软件。

外包软件:生产企业委托第三方开发的软件。

网络安全:保持医疗器械相关数据的保密性、完整性和可得性。

算法驱动型更新:人工智能医疗器械所用算法、算法结构、算法流程、算法编程框架、输入输出数据类型等发生改变,通常属于重大软件更新。此外,算法重新训练即弃用原有训练数据而采用全新训练数据进行算法训练,亦属于算法驱动型更新。

数据驱动型更新:仅由训练数据量增加而发生的算法更新。数据驱动型更新是否属于重大软件更新原则上以算法性能评估结果(基于相同的测试集和算法性能评估指标)为准,算法性能评估结果若发生显著性改变则属于重大软件更新,即算法性能评估结果与前次注册(而非前次更新)相比存在统计学差异,反之属于轻微软件更新。

过拟合:指算法对于训练数据过度学习而将非普遍规律作为重要特征。

欠拟合:算法对于训练数据学习不充分而遗漏重要特征,均会降低算法泛化能力。

假阴性即漏诊,可能导致后续诊疗活动延误,特别是要考虑快速进展疾病的诊疗活动延误风险,而假阳性即误诊,可能导致后续不必要的诊疗活动。

 

附1:人工智能医学软件现场检查要点

 

章节

条款

内容

检查要点

1.1.1

应当建立与医疗器械生产相适应的管理机构,具备组织机构图。

 

查看提供的质量手册,是否包括企业的组织机构图,是否明确各部门的相互关系。

*1.1.2

应当明确各部门的职责和权限,明确质量管理职能。

 

查看企业的质量手册,程序文件或相关文件,是否对各部门的职责权限作出了规定;质量管理部门应当能独立行使职能, 查看质量管理部门的文件,是否明确规定对产品质量的相关事宜负有决策的权利。

1.1.3

生产管理部门和质量管理部门负责人不得互相兼任。

 

查看公司的任职文件或授权文件并对照相关生产、检验等履行职责的记录,核实是否与授权一致。

1.2.1

企业负责人应当是医疗器械产品质量的主要责任人。

 

1.2.2

企业负责人应当组织制定质量方针和质量目标。

 

查看质量方针和质量目标的制定程序、批准人员。

1.2.3

企业负责人应当确保质量管理体系有效运行所需的人力资源、基础设施和工作环境。

 

1.2.4

企业负责人应当组织实施管理评审,定期对质量管理体系运行情况进行评估,并持续改进。

 

查看管理评审文件和记录,核实企业负责人是否组织实施管理评审。

*1.2.5

企业负责人应当确保企业按照法律、法规和规章的要求组织生产。

 

1.3.1

企业负责人应当确定一名管理者代表。

 

查看管理者代表的任命文件。

*1.3.2

管理者代表应当负责建立、实施并保持质量管理体系,报告质量管理体系的运行情况和改进需求,提高员工满足法规、规章和顾客要求的意识。

 

查看是否对上述职责作出明确规定。查看管理者代表报告质量管理体系运行情况和改进的相关记录。

1.4.1

技术、生产、质量管理部门负责人应当熟悉医疗器械法律法规,具有质量管理的实践经验,应当有能力对生产管理和质量管理中实际问题作出正确判断和处理。

 

查看相关部门负责人的任职资格要求,是否对专业知识、工作技能、工作经历作出了规定;查看考核评价记录,现场询问,确定是否符合要求。

1.5.1

应当配备与生产产品相适应的专业技术人员、管理人员和操作人员,应当具有相应的质量检验机构或专职检验人员。

 

查看组织机构图、部门职责、人员资格等文件,确认软件质量保证团队和人员是否符合要求,关注人员流动性对于软件质量的影响。

1.6.1

从事影响产品质量工作的人员,应当经过与其岗位要求相适应的培训,具有相关的理论知识和实际操作技能。

 

应当确定影响医疗器械质量的岗位,规定这些岗位人员所必须具备的专业知识水平(包括学历要求)、工作技能、工作经验。查看培训内容、培训记录和考核记录,是否符合要求。

1.7.1

软件开发、测试、维护人员应当具备与岗位职责要求相适宜的专业知识、实践经验和工作能力。

 

查看相关人员的岗位职责书、简历。

*1.8.1

黑盒测试应当保证同一软件项的开发人员和测试人员不得互相兼任。

 

查看软件质量保证相关文件是否有相应规定,抽查相关软件项的开发人员和测试人员记录。

*1.9.1

用户测试人员应当具备适宜的软件产品使用经验,或经过培训具备适宜的软件产品使用技能。

 

查看用户测试人员的岗位职责书、简历和培训记录。

1.10.1

应明确数据采集人员、标注人员、审核人员、仲裁人员的选拔、培训、考核等要求。

 

查看岗位职责说明书、如职称、工作年限、工作经验、所在机构,若有国外人员则需明确其资质要求、人员培训(如培训材料、培训方案)及考核记录(如方法、频次、指标、通过准则、一致性)、资质证明、职称证明、岗位任命书或授权书等,是否满足岗位要求。

厂房与设施

2.1.1

厂房与设施应当符合生产要求。

 

2.2.1

生产环境应当整洁、符合产品质量需要及相关技术标准的要求。

 

查看机房(或类似场所)、计算机使用环境的管理要求,确认是否有防水、防静电等设施。

2.3.1

厂房应当有适当的照明、温度、湿度和通风控制条件。

 

2.4.1

生产区应当有足够空间,并与产品生产规模、品种相适应。

 

2.5.1

仓储区应当能够满足原材料、包装材料、中间品、产品等贮存条件和要求。仓储区应当按照待验、合格、不合格、退货或召回等进行有序、分区存放各类材料和产品,便于检查和监控。

 

现场查看软件存储媒介、包装的存放区域及标识。

2.6.1

应当配备与产品生产规模、品种、检验要求相适应的检验场所和设施。

 

 

 

3.1.1

应当在软件生存周期过程持续提供充分、适宜、有效的软件开发和测试环境,包括软硬件设备、开发测试工具、网络等资源以及病毒防护、数据备份与恢复等保证措施。

 

查看软件开发和测试所用设备与工具清单,现场抽查进行核实。

*3.2.1

软件开发和测试环境维护应当形成文件,确定软件开发和测试环境定期验证、更新升级、病毒防护等活动要求,保持相关记录。

 

查看软件开发和测试环境维护文件规定,现场抽查相关记录。

3.3.1

生产设备应当有明显的状态标识,防止非预期使用。应当建立生产设备使用、清洁、维护和维修的操作规程,并保存相应的设备操作记录。

 

3.4.1

应当建立检验仪器和设备的使用记录,记录内容应当包括使用、校准、维护和维修等情况。

 

3.5.1

数据采集设备管理应形成文件,确定采集设备的兼容性和采集特征等要求。

查看数据采集设备相关文件或记录,设备的兼容性记录应包括采集设备的名称、型号规格、制造商、性能指标等要求,若无需考虑兼容性要求详述理由并予以记录。如采集特征考虑采集设备的采集方式(如常规成像、增强成像)、采集协议(如MRI成像序列)、采集参数(如CT加载电压、加载电流、加载时间、层厚)、采集精度(如分辨率、采样率)等要求。

3.5.2

数据标注基础设施管理应明确标注场所、标注环境条件、标注软件等要求。

检查数据标注场所真实场所或模拟场所,模拟场所可根据产品实际情况调整模拟程度,详述调整理由并予以记录。标注环境条件(如空间、照明、温度、湿度、气压)、标注软件(名称、型号规格、完整版本、制造商、运行环境、软件确认)等要求。

管理

*4.1.1

应当建立健全质量管理体系文件,包括质量方针和质量目标、质量手册、程序文件、技术文件和记录,以及法规要求的其他文件。

 

质量方针应当在企业内部得到沟通和理解;应当在持续适宜性方面得到评审。质量目标应当与质量方针保持一致;应当根据总的质量目标,在相关职能和层次上进行分解,建立各职能和层次的质量目标;应当包括满足产品要求所需的内容;应当可测量、可评估;应当有具体的方法和程序来保障。

4.1.2

质量手册应当对质量管理体系作出规定。

 

查看企业的质量手册,应当包括企业质量目标、组织机构及职责、质量体系的适用范围和要求。

4.1.3

程序文件应当根据产品生产和质量管理过程中需要建立的各种工作程序而制定,包含本规范所规定的各项程序文件。

 

*4.1.4

技术文件应当包括产品技术要求及相关标准、生产工艺规程、作业指导书、检验和试验操作规程、安装和服务操作规程等相关文件。

 

4.2.1

应当建立文件控制程序,系统地设计、制定、审核、批准和发放质量管理体系文件。

 

4.2.2

文件的起草、修订、审核、批准、替换或撤销、复制、保管和销毁等应当按照控制程序管理,并有相应的文件分发、撤销、复制和销毁记录。

 

4.2.3

文件更新或修订时应当按规定评审和批准,能够识别文件的更改和修订状态。

 

查看相关记录确认文件的更新或修订是否经过评审和批准;其更改和修订状态是否能够得到识别。

4.2.4

分发和使用的文件应当为适宜的文本,已撤销或作废的文件应当进行标识,防止误用。

 

到工作现场抽查现场使用的文件,确认是否是有效版本。作废文件是否明确标识。

4.3.1

应当确定作废的技术文件等必要的质量管理体系文件的保存期限,满足产品维修和产品质量责任追溯等需要。

 

保存期限应当不少于企业所规定的医疗器械寿命期。

4.4.1

应当建立记录控制程序,包括记录的标识、保管、检索、保存期限和处置要求等。记录应当保证产品生产、质量控制等活动可追溯性。记录应当清晰、完整,易于识别和检索,防止破损和丢失。记录不得随意涂改或销毁,更改记录应当签注姓名和日期,并使原有信息仍清晰可辨,必要时,应当说明更改的理由。记录的保存期限至少相当于生产企业所规定的医疗器械的寿命期,但从放行产品的日期起不少于2年,或符合相关法规要求,并可追溯。

 

计开发

5.1.1

应当结合软件生存周期模型特点建立软件生存周期过程控制程序并形成文件,确定软件开发策划、软件需求分析、软件设计、软件编码、验证与确认、软件更新、风险管理、缺陷管理、可追溯性分析、配置管理、文件与记录控制、现成软件使用、网络安全保证、软件发布、软件部署、软件停运等活动要求。

 

查看软件生存周期过程控制程序文件是否有相应规定,若使用敏捷开发方法是否明确文件与记录控制要求。

5.1.1.1

人工智能医学软件应结合质量管理体系要求,参考软件、人工智能相关标准和良好工程实践,建立人工智能医疗器械生存周期过程,开展与软件安全性级别相匹配的产品质量保证工作,将风险管理、可追溯分析贯穿于生存周期全程,形成记录。

 

查看软件生存周期过程控制相关文件是否有相应规定,是否根据软件、人工智能相关标准建立与之相匹配的质量保证程序。

*5.2.1

软件生存周期过程质量保证活动要求应当与软件安全性级别相适宜。

 

查看软件质量保证相关文件是否根据软件安全性级别规定相应软件质量保证活动要求。

5.2.2

软件安全性级别应当在采取风险控制措施之前,结合软件的预期用途、使用场景和核心功能进行综合判定,并仅可通过外部风险控制措施降低级别。

 

查看软件质量保证相关文件是否规定软件安全性级别判定方法。

5.3.1

应当依据风险管理控制程序实施软件风险管理活动,结合产品识别、分析、评价、控制和监测软件功能、接口、用户界面、现成软件、网络安全等风险,并贯穿于软件生存周期全过程。

 

查看软件风险管理相关文件是否有相应规定,抽查风险管理相关记录。

5.3.1.1

人工智能医学软件应明确算法的软件安全性级别(轻微、中等、严重)并详述判定理由。提供算法风险管理资料,明确过拟合与欠拟合、假阴性与假阳性、数据污染与数据偏倚(如数据扩增)等风险的控制措施。

 

查看其风险管理控制文件是否涵盖算法角度或用途角度评估内容。

检查是否包含过拟合与欠拟合、假阴性与假阳性、数据污染与数据偏倚(如数据扩增)等风险的控制措施等内容。

5.4.1

软件配置管理应当建立控制程序并形成文件,规范软件版本、源代码、文件、工具、现成软件、算法模型、数据库等控制要求,确定配置标识、变更控制、配置状态记录等活动要求。使用配置管理工具保证软件质量,并贯穿于软件生存周期全过程。

 

查看软件配置管理控制程序文件是否有相应规定,抽查配置管理相关记录。

5.4.2

使用配置管理工具保证软件质量,并贯穿于软件生存周期全过程。

 

现场查看软件配置管理工具(或常用办公软件)及其使用记录,抽查配置项相关记录。

5.5.1

软件版本控制应当基于合规性要求确定软件版本命名规则,涵盖软件、现成软件、网络安全的全部软件更新类型,各字段含义应当明确且无歧义无矛盾。

查看软件配置管理控制程序文件是否有软件版本命名规则的合理规定。

5.5.1.1

人工智能医学软件版本控制应涵盖软件算法更新类型(算法驱动型更新或数据驱动型更新),明确并区分重大软件更新和轻微软件更新。

 

查看其软件版本控制程序是否涵盖算法更新类型(算法驱动型更新或数据驱动型更新)。

 

*5.5.2

软件版本变更应当符合软件版本命名规则的要求。

 

结合配置管理工具(或常用办公软件)抽查软件更新记录进行核实。

*5.6.1

软件可追溯性分析应当建立控制程序并形成文件,涵盖现成软件、网络安全的控制要求,形成软件可追溯性分析报告以供评审。

 

查看软件可追溯性分析控制程序文件是否有相应规定,查看可追溯性分析报告,抽查相关评审记录。

5.6.2

使用可追溯性分析工具保证软件开发、软件更新过程满足可追溯性要求,并贯穿于软件生存周期全过程。

 

现场查看软件可追溯性分析工具(或常用办公软件)及其使用记录,抽查相关记录。

5.7.1

现成软件使用应当形成文件,确定风险管理、验证与确认、缺陷管理、可追溯性分析、软件更新、配置管理、文件与记录控制、网络安全保证等活动要求。遗留软件还应当确定现有文件、上市后使用情况、用户投诉、不良事件、召回情况等评估活动要求。使用开源软件应当遵循相应开源许可协议。

 

查看现成软件使用相关文件是否有相应规定。

5.8.1

软件开发策划应当确定软件需求分析、软件设计、软件编码、验证与确认、风险管理、缺陷管理、可追溯性分析、配置管理、文件与记录控制、现成软件使用、网络安全保证、评审等活动计划,形成相关文件和记录,并适时更新。

 

查看软件开发计划书,抽查相关评审记录。

5.8.2

软件开发策划应当保证软件开发和测试的人员及环境与软件开发要求相适宜。

 

查看软件开发计划书是否有相应规定。

*5.9.1

软件需求分析应当综合分析法规、标准、用户、产品、功能、性能、接口、用户界面、网络安全、警示提示等软件需求,确定风险管理、可追溯性分析、现成软件使用评估、软件确认测试计划创建、评审等活动要求,形成软件需求规范和评审记录并经批准,适时更新并经批准。可追溯性分析此时应当分析软件需求与风险管理、软件需求与产品需求的关系。

 

查看软件需求分析相关文件是否有相应规定;查看软件需求规范/软件需求规格说明(SRS),若适用是否涵盖强制性标准要求;抽查相关评审记录、可追溯性分析记录。

5.9.2

人工智能医学软件需求分析应重点考虑数据收集、算法性能、使用限制等要求。

检查需求分析资料,是否包括数据收集、算法性能、使用限制等要求。

5.10.1

软件设计应当依据软件需求规范实施软件体系架构、功能、性能、算法、接口、用户界面、单元、网络安全等设计,确定风险管理、可追溯性分析、现成软件使用评估、软件验证测试计划创建、评审等活动要求,形成软件设计规范和评审记录并经批准,适时更新并经批准。可追溯性分析此时应当分析软件设计与软件需求之间的关系。

 

查看软件设计相关文件是否有相应规定;查看软件设计规范/软件设计规格说明(SDS),若适用是否明确强制性标准要求;抽查相关评审记录、可追溯性分析记录。

5.10.1.1

人工智能医学软件算法设计应当明确算法选择、算法训练、算法性能评估等要求。

 

检查算法相关文件,是否包括算法选择、算法训练、算法性能评估等要求。

5.11.1

软件编码应当依据软件设计规范实施,确定源代码编写与注释、现成软件使用、可追溯性分析、各级测试用例创建、评审等活动要求,形成评审记录,并适时更新。源代码编写与注释应当符合软件编码规则文件的要求。测试用例应当保证软件验证与确认测试的充分性、适宜性、有效性。可追溯性分析此时应当分析源代码与软件设计、源代码与测试用例的关系。

 

查看软件编码相关文件是否有相应规定,抽查相关评审记录、可追溯性分析记录。查看软件编码规则文件规定,现场抽查源代码编写与注释是否符合软件编码规则文件规定。抽查相关测试用例创建记录、评审记录。

5.12.1

软件验证应当确定源代码审核、静态分析、动态分析、单元测试、集成测试、系统测试、评审等活动要求,涵盖现成软件、网络安全的验证要求,并保持相关记录。白盒测试应当确定语句、判定、条件、路径等测试覆盖率要求,并与软件安全性级别相适宜。

 

查看软件验证相关文件是否有相应规定。

5.13.1

单元测试、集成测试、系统测试应当依据相应测试计划实施,涵盖现成软件、网络安全的测试要求,确定缺陷管理、风险管理、可追溯性分析、评审等活动要求,形成相应软件测试记录、测试报告以及评审记录,并适时更新。可追溯性分析此时应当分析各级测试用例与软件设计、系统测试与软件需求、系统测试与风险管理的关系。

 

抽查相关测试记录与报告、缺陷管理记录、风险管理记录、评审记录、可追溯性分析记录。

5.14.1

软件确认应当确定用户测试、临床评价、评审等活动要求,涵盖现成软件、网络安全的确认要求,并保持相关记录。

 

查看软件确认相关文件是否有相应规定。

*5.14.2

软件确认应当保证软件满足用户需求和预期目的,且软件已知剩余缺陷的风险均可接受。

 

查看软件已知剩余缺陷风险管理记录,若适用是否符合强制性标准要求。

5.14.3

人工智能医学软件确认测试应当基于用户需求,由预期用户在真实或模拟使用场景下予以开展,亦可基于测评数据库予以开展。

检查软件确认测试记录,是否与用户需求文档所描述的要求相符,如基于测评数据库,应检查测评数据库相关测试数据的一致性。

5.15.1

用户测试应当依据用户测试计划在真实使用环境或模拟使用环境下实施,涵盖现成软件、网络安全的测试要求,确定缺陷管理、风险管理、可追溯性分析、评审等活动要求,形成用户测试记录、测试报告以及评审记录并经批准,适时更新并经批准。可追溯性分析此时应当分析用户测试与用户需求、用户测试与风险管理的关系。

 

抽查相关测试记录与报告、缺陷管理记录、风险管理记录、评审记录、可追溯性分析记录。

5.16.1

软件更新应当形成文件,涵盖现成软件、网络安全的变更控制要求,确定软件更新请求评估、软件更新策划、软件更新实施、风险管理、验证与确认、缺陷管理、可追溯性分析、配置管理、文件与记录控制、评审、用户告知等活动要求,形成相关文件和记录并经批准,适时更新并经批准。

 

查看软件更新相关文件是否有相应规定,抽查相关开发计划、开发记录、测试记录与报告、缺陷管理记录、风险管理记录、评审记录、可追溯性分析记录。

*5.16.2

软件版本变更应当与软件更新情况相匹配。

 

结合配置管理工具(或常用办公软件)抽查相关软件更新记录进行核实。

5.16.3

验证与确认应当根据软件更新的类型、内容和程度实施相适宜的回归测试、用户测试等活动。

 

查看软件更新开发计划书是否有相应规定。

5.16.4

人工智能医学软件界若发生算法更新、软件更新,均应当按照质量管理体系的要求,开展与算法更新、软件更新的类型、内容和程度相适宜的验证与确认活动,将风险管理、可追溯分析贯穿于更新全程,形成记录。

检查是否发生算法、软件更新,是否有与更新内容相适宜的验证和确认活动,并形成可追溯性分析记录。

5.16.5

对于训练集调整后的软件更新,应当进行回归测试并形成相应的验证记录。

如涉及训练集更新,检查软件回归测试记录及验证记录,测试及验证内容与训练集调整内容的一致性

5.17.1

软件缺陷管理应当形成文件,确定软件缺陷评估、软件缺陷修复、回归测试、风险管理、配置管理、评审等活动要求,形成软件缺陷分析报告以供评审。

 

查看软件缺陷管理相关文件是否有相应规定,抽查相关评审记录。

5.17.2

使用缺陷管理工具保证软件质量,并贯穿于软件生存周期全过程。

 

现场查看软件缺陷管理工具(或常用办公软件)及其使用记录,抽查相关记录。

 

5.18.1

数据收集应明确数据采集、数据整理、数据标注、数据集构建等活动的质控要求,以保证数据质量和算法训练效果。

检查数据收集相关要求及记录

5.18.2

数据采集需考虑采集设备、采集过程、数据脱敏等质控要求,并建立数据采集操作规范。数据采集亦可使用历史数据,需结合样本规模、采集难度等影响因素合理选择数据采集方式。若适用,数据采集需经伦理委员会批准。

 

检查数据采集相关文件、规程、作业指导书以及数据采集的记录、检查记录与要求的一致性、真实性,检查数据采集合规性的相关证明文件或相关的伦理委员会批准文件(若适用)

5.18.3

采集的数据应进行数据脱敏以保护患者隐私,数据脱敏需明确脱敏的类型(静态、动态)、规则、方法以及脱敏内容的确定依据。

 

检查数据脱敏相关文件、规程、作业指导书,数据采集记录是否按照要求进行脱敏。

5.18.4

数据整理应基于原始数据库考虑数据清洗、数据预处理的质控要求。

 

检查数据清洗相关要求的文档。数据清洗需明确清洗的规则、方法、结果,数据预处理需明确处理的方法(如滤波、增强、重采样、尺寸裁剪、均一化等)、结果。数据整理所用软件工具均需明确名称、型号规格、完整版本、制造商、运行环境,并进行软件确认。数据经整理后形成基础数据库,需明确样本类型、样本量、样本分布等信息。

5.18.5

数据标注需建立数据标注操作规范,明确标注资源管理、标注过程质控、标注质量评估等要求。

检查数据标注相关要求的文档。

标注过程质控包括人员职责(如人员资质、人员数量、职责分工)、标注规则(如临床指南、专家共识、专家评议、文献分析)、标注流程(如标注对象、标注形式、标注轮次、标注步骤、结果审核)、分歧处理(如仲裁人员、仲裁方式)、可追溯性(如数据、操作)等要求。

5.18.6

数据集构建明确训练集、调优集、测试集的划分方法、划分依据、数据分配比例。

检查数据集构建相关文档,是否包含训练集、调优集、测试集的划分方法、划分依据、数据分配比例等内容。

5.18.7

应对第三方数据库的应用管理形成文件,明确来源、保存、确认和使用要求,包括预期目的、来源、版本、数据库容量、更新情况、使用情况等。

检查是否应用第三方数据库,如有,是否形成文件并明确来源、保存、确认和使用要求,包括预期目的、来源、版本、数据库容量、更新情况、使用情况等。并核实是否与第三方建立相关合作协议的要求。

 

 

6.1.1

应当建立采购控制程序。应当确保采购物品符合规定的要求,且不低于法律法规的相关规定和国家强制性标准的相关要求。

 

采购程序内容至少包括:采购流程、合格供应商的选择、评价和再评价规定、采购物品检验或验证的要求、采购记录的要求。

6.2.1

应当根据采购物品对产品的影响,确定对采购物品实行控制的方式和程度。

 

查看对采购物品实施控制方式和程度的规定,核实控制方式和程度能够满足产品要求。

6.3.1

应当建立供应商审核制度,对供应商进行审核评价。必要时,应当进行现场审核。应当保留供方评价的结果和评价过程的记录。

 

是否符合《医疗器械生产企业供应商审核指南》的要求。

6.4.1

现成软件采购应当形成文件,根据现成软件的类型、使用方式、对产品质量影响程度,确定分类管理、质量控制、供应商审核等活动要求。

 

查看现成软件采购相关文件是否有相应规定。

*6.5.1

应当与供应商签订外包软件质量协议,明确外包软件需求分析、交付形式、验收方式与准则、设计开发文件交付、知识产权归属、维护等要求以及双方质量责任承担要求。

 

若使用外包软件,查看外包软件质量协议是否有相应规定。

6.6.1

云计算服务协议应当明确网络安全保证、患者数据与隐私保护等责任承担要求。

 

若使用云计算服务,查看云计算服务协议是否有相应规定。

6.7.1

采购时应当明确采购信息,清晰表述采购要求,包括采购物品类别、验收准则、规格型号、规程、图样等内容。应当建立采购记录,包括采购合同、原材料清单、供应商资质证明文件、质量标准、检验报告及验收标准等。采购记录应当满足可追溯要求。

 

6.8.1

应当对采购物品进行检验或验证,确保满足生产要求。

 

查看采购物品的检查或验收记录。

6.9.1

数据来源应当形成文件,应当明确数据来源的合规性,必要时应形成科研合作协议或伦理批件,明确数据收集活动要求。

检查数据收集相关合作协议或伦理文件(如适用),检查数据来源机构名称、所在地址、数据收集量等信息合规性文件。

*7.1.1

应当按照建立的质量管理体系进行生产,以保证产品符合强制性标准和经注册或者备案的产品技术要求。

 

7.2.1

软件发布应当形成文件,确定软件产品文件创建、软件产品与文件归档备份、软件版本识别与标记、交付形式评估与验证、病毒防护等活动要求,保证软件发布的可重复性。

 

查看软件发布相关文件是否有相应规定,现场抽查相关记录。

7.3.1

物理交付方式应当确定软件产品复制、许可授权以及存储媒介包装、标记、防护等要求,网络交付方式应当确定软件产品标记、许可授权、网络安全保证等要求。

 

查看软件发布相关文件是否有相应规定。

7.4.1

生产过程中采用的计算机软件对产品质量有影响的,应当进行验证或确认。

 

7.5.1

每批(台)产品均应当有生产记录,并满足可追溯的要求。生产记录应当包括:产品名称、规格型号、原材料批号、生产批号或产品编号、生产日期、数量、主要设备、工艺参数、操作人员等内容。

 

结合配置管理工具(或常用办公软件)抽查某一软件版本的相关记录。

7.6.1

应当建立产品标识控制程序,用适宜的方法对产品进行标识,以便识别,防止混用和错用。

 

7.7.1

应当在生产过程中标识产品的检验状态,防止不合格中间产品流向下道工序。

 

7.8.1

应当建立产品的可追溯性程序,规定产品追溯范围、程度、标识和必要的记录。

 

*7.9.1

产品的说明书、标签应当符合相关法律法规及标准要求。

 

7.10.1

应当建立产品防护程序,规定产品及其组成部分的防护要求,包括污染防护、静电防护、粉尘防护、腐蚀防护、运输防护等要求。防护应当包括标识、搬运、包装、贮存和保护等。

 

质量控制

8.1.1

应当建立质量控制程序,规定产品检验部门、人员、操作等要求。应当规定检验仪器和设备的使用、校准等要求,以及产品放行的程序。

 

查看质量控制程序,是否对检验部门职责、人员资质、操作规程等作出规定,是否对检验设备的使用和维护作出规定。

8.2.1

应当定期对检验仪器和设备进行校准或检定,并予以标识。应当规定检验仪器和设备在搬运、维护、贮存期间的防护要求,防止检验结果失准。当发现检验仪器和设备不符合要求时,应当对以往检验结果进行评价,并保存验证记录。对用于检验的计算机软件,应当进行确认。

 

8.3.1

应当根据强制性标准以及经注册或者备案的产品技术要求制定产品的检验规程,并出具相应的检验报告或证书。需要常规控制的进货检验、过程检验和成品检验项目原则上不得进行委托检验。对于检验条件和设备要求较高,确需委托检验的项目,可委托具有资质的机构进行检验,以证明产品符合强制性标准和经注册或者备案的产品技术要求。

 

查看软件产品检验规程,若适用是否明确强制性标准检验要求,并提供相应检验报告。

8.4.1

每批(台)产品均应当有批检验记录,并满足可追溯要求。检验记录应当包括进货检验、过程检验和成品检验的检验记录、检验报告或证书等。

 

结合配置管理工具(或常用办公软件)抽查某一软件版本的相关记录。

8.5.1

软件产品放行应当形成文件,确定软件版本识别、安装卸载测试、产品完整性检查、放行批准等活动要求,保持相关记录。

 

查看软件产品放行相关文件是否有相应规定,现场抽查相关记录。

和售后

*9.1.1

应当建立产品销售记录,并满足可追溯要求。

 

9.1.2

销售记录至少应当包括:医疗器械名称、规格、型号、数量、生产批号、有效期、销售日期、购货单位名称、地址、联系方式等内容。

 

9.2.1

直接销售自产产品或者选择医疗器械经营企业,应当符合医疗器械相关法规和规范要求。发现医疗器械经营企业存在违法违规经营行为时,应当及时向当地食品药品监督管理部门报告。

 

9.3.1

应当具备与所生产产品相适应的售后服务能力,建立健全售后服务制度。应当规定售后服务要求并建立售后服务记录,并满足可追溯的要求。

 

9.4.1

软件部署应当形成文件,确定交付、安装、设置、配置、用户培训等活动要求,保持相关记录。

 

查看软件部署相关文件是否有相应规定,现场抽查相关记录。

9.5.1

应当建立顾客反馈处理程序,对顾客反馈信息进行跟踪分析。

 

查看程序文件是否对上述活动的实施作出了规定,并对顾客反馈信息进行了跟踪和分析。

9.6.1

软件停运应当形成文件,确定停运后续用户服务、数据迁移、患者数据与隐私保护、用户告知等活动要求,保持相关记录。

 

查看软件停运相关文件是否有相应规定,若适用现场抽查相关记录。

9.7.1

在中国境内收集和产生的重要数据、个人信息和人类遗传资源信息应当在中国境内存储,因科学研究开发活动、业务需要向境外提供的,应当遵守国务院科学技术行政部门制定技术规范,按照国家网信部门会同国务院有关部门制定的办法进行安全评估。

检查是否有开展境外合作科学研究、境外销售业务,是否对境外输出含有重要数据、个人信息和人类遗传资源信息,是否符合国务院科学技术行政部门制定技术规范,是否按照国家网信部门会同国务院有关部门制定的办法进行安全评估。境外远程维护与升级若可访问医疗数据,亦应符合医疗数据出境要求。

9.8.1

软件远程维护与升级应明确远程维护与升级的实现方法、所用电子接口情况、设备数据所含内容、设备数据与医疗数据的隔离方法、网络安全保证措施等技术特征。

 

检查售后服务是否有远程维护与升级服务,是否明确远程维护与升级的实现方法、所用电子接口情况、设备数据所含内容、设备数据与医疗数据的隔离方法、网络安全保证措施等技术特征,是否验证并形成记录

10.1.1

应当建立不合格品控制程序,规定不合格品控制的部门和人员的职责与权限。

 

10.2.1

应当对不合格品进行标识、记录、隔离、评审,根据评审结果,应当对不合格品采取相应的处置措施。

 

10.3.1

在产品销售后发现产品不合格时,应及时采取相应措施,如召回、销毁等措施。现场查看在产品销售后发现不合格时的处置措施,是否召回和销毁等。

 

不良事件监测

11.1.1

应当指定相关部门负责接收、调查、评价和处理顾客投诉,并保持相关记录。

 

查看有关职责权限的文件,确定是否对上述活动作出了规定。

*11.2.1

应当按照有关法规要求建立医疗器械不良事件监测制度,开展不良事件监测和再评价工作,保持相关记录。

 

查看企业建立的不良事件的监测制度,是否规定了可疑不良事件管理人员的职责、报告原则、上报程序、上报时限,制定了启动实施医疗器械再评价的程序和文件等,并符合法规要求。查看相关记录,确认是否存在不良事件,并按规定要求实施。

11.3.1

应当建立数据分析程序,收集分析与产品质量、不良事件、顾客反馈和质量管理体系运行有关的数据,验证产品安全性和有效性,并保持相关记录。

 

查看数据分析的实施记录,是否按程序规定进行,是否应用了统计技术并保留了数据分析结果的记录。

11.3.2

数据分析控制程序应当涵盖软件缺陷、网络安全事件要求。

 

查看数据分析控制程序文件是否有相应规定。

11.4.1

应当建立纠正措施程序,确定产生问题的原因,采取有效措施,防止相关问题再次发生。应当建立预防措施程序,确定潜在问题的原因,采取有效措施,防止问题发生。

 

*11.5.1

对存在安全隐患的医疗器械,应当按照有关法规要求采取召回等措施,并按规定向有关部门报告。

 

11.6.1

应当建立产品信息告知程序,及时将产品变动、使用等补充信息通知使用单位、相关企业或消费者。

 

11.7.1

网络安全事件应急响应应当形成文件,确定网络安全事件风险管理、应急响应措施验证、用户告知、召回等活动要求,保持相关记录。

 

查看网络安全事件应急响应相关文件是否有相应规定,若适用现场抽查相关记录。

11.7.2

应对缓解网络安全风险采用的技术措施的有效性进行验证。

检查是否对缓解网络安全风险采用的技术措施的有效性进行验证,保持相关记录

11.8.1

应当建立质量管理体系内部审核程序,规定审核的准则、范围、频次、参加人员、方法、记录要求、纠正预防措施有效性的评定等内容,以确保质量管理体系符合本规范的要求。

 

查看内部审核程序是否包括了上述内容。查看内审资料,实施内审的人员是否经过培训,内审的记录是否符合要求,针对内审发现的问题是否采取了纠正措施,是否有效。

*11.9.1

应当定期开展管理评审,对质量管理体系进行评价和审核,以确保其持续的适宜性、充分性和有效性。

 

查看管理评审文件和记录,应包括管理评审计划、管理评审报告以及相关改进措施,管理评审报告中是否包括了对法规符合性的评价。是否在规定时间内进行了管理评审,是否提出了改进措施并落实具体职责和要求,是否按计划实施。

 

附2 :编写单位

 

广东省药品监督管理局审评认证中心

 

附3 :参考文献

 

[1]医疗器械生产质量管理规范[Z].

[2]医疗器械生产质量管理规范独立软件现场检查指导原则[Z].

[3]人工智能医疗器械注册审查指导原则[Z].

[4]医疗器械软件注册审查指导原则(2022年修订版)[Z].

[5]医疗器械网络安全注册审查指导原则(2022年修订版)[Z].

[6]YY/T 1833.1-2022人工智能医疗器械 质量要求和评价 第1部分:术语[S] .

[7]YY/T 1833.2-2022人工智能医疗器械 质量要求和评价 第2部分:数据集通用要求[S] .

[8]YY/T 1833.3-2022人工智能医疗器械 质量要求和评价 第3部分:数据标注通用要求[S] .

 

分享到:

来源:广东省药品监督管理局审