全球人工智能（AI）在医学领域的应用已十分广泛，如疾病监测或健康管理、医学影像辅助诊断、疾病预测和治疗等。中国人工智能在医学领域的应用主要集中于医学影像辅助诊断，主要适应证有肺结节、青光眼、糖尿病性视网膜病变和白内障等眼病的筛查，结直肠息肉/结直肠肿瘤、肝癌和乳腺癌等疾病诊断等。

由于我国审批数据标准库不统一和医学人工智能责任主体难以明确等问题有待解决，医学人工智能产品审批严格，截至目前获得审批上市资格的人工智能产品并不多。

在临床试验设计过程中，以CT类肺结节辅助诊断软件为例，需要考虑以下几要素：

（1）试验设计

a) 优先选择同品种产品或临床参考标准（即临床金标准）进行非劣效对照设计，可选择临床金标准方法（由3名高年资影像科医师一致判定的结果作为金标准）采用同期自身配对设计。

b) 若无同品种产品，且难以获取临床参考标准（如违背伦理）可选择用户结合软件联合决策（医生+AI）与用户单独决策（医生）进行优效配对设计。

（2）入排标准

应基于目标疾病的流行病学特征，保证阳性样本和阴性样本选取的合理性和充分性。在实际入选患者的时候，结合产品的特点可选择具有特定特征患者的样本，例如针对肺结节识别的AI软件，可选择需进行肺结节筛查的高危人群（如年龄40岁以上，年吸烟史＞20包/年，戒烟＜5年等）。另一种比较折中入选病例的方法是有针对性地入选患者，由研究者根据患者的体征、症状等综合判断其是否应该接受影像检查，例如某患者具有发热、咳嗽、咳痰等症状，当研究者怀疑其有肺部疾病时，可对将其纳入到某AI软件的临床试验中。为了避免选择偏倚，应当对每一组疾病程度的病例进行统计学分配。

（3）评价指标

建议结合适用人群、病变等层面选观察指标，一般选择敏感性、特异性、ROC/AUC作为主要观察指标，亦可以在此基础上根据软件特点选择敏感性/特异性衍生指标、ROC/AUC衍生指标、组内相关系数、Kappa系数、时间效率、数据有效使用率等指标作为观察指标。

例如：对于针对病灶定位的CT影像类AI软件，其灵敏度应在病灶水平上进行统计。当临床试验选择用户结合软件联合决策与用户单独决策进行优效对照设计时，可选用ROC/AUC作为主要评价指标。此时研究者需要在没有AI软件辅助的时候单独找出影像上的病灶，并对这些病灶进行5级把握度评分（肯定不是病灶、可能不是病灶、无法确定、可能是病灶、肯定是病灶），然后再在有AI软件辅助的情形下，重新按上述方法进行病灶评价。需要注意的是，采用此种方法进行评价时应注意阅片的随机顺序，以避免研究者的记忆偏倚，如有可能，建议可在两次阅片之间设置一定的洗脱期。

又如：用于大样本量辅助筛查的软件，以提高辅助诊断时间的时间效率为首要目标的某些软件，注重提高诊断的灵敏度，无同品种产品也无临床参考的金标准，其临床设计可选择用户结合软件（医生+AI）联合决策与用户单独决策（医生）进行交叉对照设计，以敏感性、特异性、时间效率作为主要观察指标

（4）实施机构

不同于训练数据主要来源机构，地域分布尽可能广泛（涵盖全国东西南北中区域）机构数量尽可能多，以确认算法泛化能力。

（5）统计方法

依据《深度学习辅助决策医疗器械软件审评要点》，可采用多阅片者多病例（MRMC）试验设计，MRMC是人工智能辅助诊断中很常用的一种设计。

FDA的指南《Clinical Performance Assessment: Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data in - Premarket Notification (510(k)) Submissions》中给出了MRMC的设计介绍:

对于深度学习辅助决策医疗软件推荐采用多病例多人阅片的模式（MRMC），MRMC设计可以完全使所有阅片者进行交叉阅读，然而，没有用MRMC设计也是可以接受的，例如在前瞻性试验场景中无法做到让所有的医师交叉阅读同一病例片。

借鉴CAD中的MRMC设计，人工智能辅助诊断器械也可以用MRMC设计。那么在MRMC的设计框架下，采用什么样的统计方法呢？目前来说最常见的有两种方法DBT法和OR法，本质上都是混合效应模型，不同的是Y的定义，DBT法中结局变量Y是读片结果（0，1）的Jacknife变换得分值，OR法中结局变量Y是ROC曲线下面积。这两种方法最常用，但是除了这两种方法外还有几种其他的方法，比如GEE模型、Bootstrap法、广义线性混合效应模型、Bayesian Hierarchical model等。