近日,中检院发布人工智能医疗器械质量要求和评价两项行业标准征求意见稿,全文如下:
医疗器械行业标准《人工智能医疗器械质量要求和评价 第 1 部分:术语》 征求意见稿
本标准主要考虑人工智能医疗器械安全性、有效性、风险和质量管理的方法和定义,基于此规定了人工智能医疗器械质量评价使用的术语和定义,本标准适用于人工智能医疗器械专业领域内从事科研、生产、监督检验和临床应用等方面的技术人员使用。本标准考虑条理化和关联性,对术语进行分类组织,分类的原则为:基础技术术语之外,按照学科专业领域进行划分,分为器械产品分类、数据集、性能指标、安全、应用场景。为对术语给予更好的表达,在附录中给出部分评价指标的计算公式说明。
本部分按照 GB/T 1.1-2020 《标准化工作导则 第 1 部分:标准化文件的结构和起草规则》给出的规则起草。
本标准是人工智能医疗器械相关术语的基础标准,在制定过程中,主要参考了现有国内标准GB/T 5271系列标准、GB/T 11457-2006《软件工程术语》、GB/T 32400-2015《信息技术 云计算》、GB 34960.5-2018 《信息技术服务 治理 第5部分:数据治理规范》、GB/T 35273-2017《信息安全技术 个人信息安全规范》、国际标准ISO 2382:2015《Information technology—Vocabulary》等,以及《计算机科学技术名词》(ISBN 978-7-03-059487-7)图书。在本标准制定的过程中,未涉及有争议项目。
点击下载《人工智能医疗器械质量要求和评价 第 1 部分:术语》 征求意见稿
医疗器械行业标准《人工智能医疗器械质量要求和评价 第2 部分:数据集通用要求》征求意见稿
1. 标准制定的意义、原则
数据集是人工智能医疗器械研发、测试、监管的重要资源,对人工智能医疗器械产品质量有关键影响。当前,用于人工智能医疗器械的数据集开发十分活跃,但质量控制较为薄弱,对数据集质量特性缺乏系统性的描述和要求,对数据集质量的验证缺乏客观定量的指标与方法。
人工智能医疗器械使用的数据集质量涉及交叉学科,相关医疗器械标准尚处于空白。信息技术标准(如GB/T 36073—2018、GB/T 36344-2018)提出了数据管理能力成熟度评估、数据质量评价的理念,但缺乏对医学场景和人工智能医疗器械特殊风险的考虑,难以提供对人工智能医疗器械使用的数据集质量特性的系统描述。卫生信息标准(如WS/T 305-2009、WS 539-2017)
提出了元数据规范、元数据属性要求等概念,同样缺乏数据集质量特性和质量评价内容,与人工智能医疗器械质量未建立衔接。
行业内不同厂商、医院、科研机构都在从事数据集的建设,在数据集的描述、评价与质控等方面也存在普遍的差异。
基于上述现状,本标准描述了人工智能医疗器械所使用的数据集的质量通用要求。该基础标准的实施将形成统一的质量评价规范,促进人工智能医疗器械领域数据集的整体建设与质控能力,并且带动人工智能医疗器械各细分领域数据集的规范化。
本标准按照GB/T1.1-2020的起草规则编写。
2. 本标准性能指标制定依据,对于有争议指标的处理及验证情况
本标准是人工智能医疗器械数据集质量相关的基础标准,在制定过程中,综合参考了医疗器械、信息技术、卫生数据管理、临床数据管理等相关领域的数据质量要求与评价方式,根据人工智能医疗器械技术特点编制而成。
与数据质量要求有关的规范性引用文件和参考文献包括YY/T 0287:2017《医疗器械 质量管理体系 用于法规的要求》、YY/T 0316-2016《医疗器械风险管理对医疗器械的应用》、国家食品药品监督管理总局《关于发布临床试验数据管理工作技术指南的通告(2016 年第112 号)》、《深度学习辅助决策医疗器械软件审评要点》、GB/T 36344-2018《信息技术 数据质量评价指标》、GB/T 34960.5:2018《信息技术服务 治理 第5 部分:数据治理规范》、GB/T 35295:2017《信息技术 大数据 术语》、GB/T 25000.12:2017《系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第12 部分:数据质量模型》等。
GB/T 11457-2006《信息技术 软件工程术语》、WS/T 305-2009《卫生信息数据集元数据规范》,国际标准ISO 19157-2013《Geographic Information-Data quality》、ISO 3951-1:2013《Sampling procedures for inspection by variables — Part 1: Specification for single sampling plans indexed by acceptance quality limit (AQL) for lot-by-lot inspection
for a single quality characteristic and a single AQL》。
数据集的质量评价方法部分主要参考和对照了经济合作与发展组织(OECD,Organization for Economic Co-operation and Development)发布的推荐性指南《OECD Recommendation of the Council on Health Data Governance,OECD/LEGAL/0433》、欧盟发布的数据质量评价手册《Handbook on Data Quality Assessment Methods and Tools》、世界卫生组织数据质量审核工具
《Data Quality Review (DQR) Toolkit》等文件内容与实施细则。抽样检验方法主要参考文献包括GB/T 2828.1-2012《计数抽样检验程序 第1 部分:按接收质量限(AQL)检索的逐批检验抽样计划》、GB T 18391.1-2009《信息技术 元数据注册系统(MDR) 第1 部分:框架》、GB/T 8054-2008《计量标准型一次抽样检验程序及表》、GB/T 10111-2008《随机数的产生及其在产品质
量抽样检验中的应用程序》等。
本标准制定的过程中,未涉及有争议指标。
三、 主要试验(或验证)的分析、综述报告、技术经济论证、预期的经济效果
本标准将选取4 个数据集开展技术验证,包括单模态训练数据集、封闭式性能独立测试集、多模态医学影像数据集和企业自用数据集,技术验证由相关医院、企业和检测机构完成。
验证内容包括:
1. 数据集文档检查:根据本标准第4 章的要求,检查数据集文档内容,验证各条款的适用性。
2. 数据质量特性评价:针对本标准第5 章提出的各项质量测度,采用计数检验、计量检验、过程验证、测试用例等方法,对具体数据集的质量进行评价,验证方法的可行性与科学性。
3. 数据集风险分析:针对数据集偏倚等问题,对具体数据集开展风险分析,形成研究资料,验证偏倚控制的可行性。
各验证单位上述内容基础上,对执行标准的成本与收益进行分析,形成综述报告。本标准预期提升人工智能医疗器械数据集开发与评价活动的规范性,促进后续各细化领域数据集的标准化,为人工智能医疗器械产业发展提供质量保障。
四、采用国际标准和国外先进标准的程度,以及与国际、国外同类标准水平的对比情况,或与测试的国外样品、样机的有关数据对比情况
本标准与国际标准ISO 19157-2013《Geographic Information-Data quality》、ISO 3951-1:2013《Sampling procedures for inspection by variables — Part 1: Specification for single sampling plans indexed by acceptance quality limit (AQL) for lot-by-lot inspection for a
single quality characteristic and a single AQL》的相关理念、方法描述无冲突。
本标准的制定参考了国内标准GB/T 36344-2018《信息技术 数据质量评价指标》、GB/T 34960.5:2018《信息技术服务 治理 第5 部分:数据治理规范》、GB/T 35295:2017《信息技术 大数据 术语》、GB/T 25000.12:2017《系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第12 部分:数据质量模型》、GB/T 2828.1-2012《计数抽样检验程序 第1 部分:按接收质量限(AQL)检索的逐批检验抽样计划》、GB T 18391.1-2009《信息技术 元数据注册系统(MDR) 第1 部分:框架》、GB/T 8054-2008《计量标准型一次抽样检验程序及表》、GB/T 10111-2008《随机数的产生及其在产品质量抽样检验中的应用程序》、GB/T 11457-2006《信息技术 软件工程术语》、YY/T 0287:2017《医疗器械 质量管理体系 用于法规的要求》、YY/T 0316-2016《医疗器械风险管理对医疗器械的应用》、WS/T 305-2009《卫生信息数据集元数据规范》等涉及数据质量的标准,无冲突。
点击下载《人工智能医疗器械质量要求和评价 第2 部分:数据集通用要求》征求意见稿