您当前的位置:检测资讯 > 科研开发

案例研究:评估基于AI/ML的医疗器械的收益-风险

嘉峪检测网        2024-09-03 10:58

医疗器械行业风险从业者面临的一个共同挑战是评估整体收益-风险。

 

一个原因是,医疗器械的预期用途的好处很难用可测量的术语清楚地表达出来。风险可以通过伤害发生的概率和伤害的严重程度的组合来估计,但与风险不同的是,对于如何估计收益没有明确的指导。

 

同时,收益-风险评价是安全性和有效性监管评价的重要组成部分。美国FDA和其他全球监管机构在授予医疗器械上市许可之前,要求基于有效科学数据的安全性和有效性的合理保证。

 

简而言之,如果你不能清楚地说明你的医疗器械的收益和风险,你就不能进入市场。

 

我们将使用FDA的工作表对基于AI/ML的医疗器械进行逆向工程的收益-风险评估。请注意,我们仅使用公开可用的信息,此分析并不试图隐含地代表FDA在审查过程中的实际分析。

 

案例研究器械:IDX-DR(现更名为LumenitcsCore)

 

IDX-DR是诊断为糖尿病的成人糖尿病视网膜病变的筛查工具。

 

糖尿病视网膜病变是糖尿病的长期副作用之一,可导致失明。糖尿病会对包括视网膜在内的全身血管造成损害。视网膜损伤可能导致其他并发症,如糖尿病性黄斑水肿(DME)、视网膜脱离和青光眼,如果不治疗,可能导致失明。根据疾病预防控制中心的患病率数据,美国估计有960万人患有糖尿病视网膜病变,其中估计有184万人患有视力威胁疾病。

 

根据2018年批准的DEN180001, IDX-DR用于以下用途:

 

IDx-DR is indicated for use by health care providers to automatically detect more than mild diabetic retinopathy (mtmDR) in adults diagnosed with diabetes who have not been previously diagnosed with diabetic retinopathy. IDx-DR is indicated for use with the Topcon NW400.

 

它使用人工智能(AI)来分析在初级保健环境中使用眼底相机获得的视网膜图像。有两种可能的结果:

 

-未检出糖尿病视网膜病变(mtmDR-);12个月后复试

 

-糖尿病视网膜病变检测(mtmDR+);向眼科专业人士咨询

 

请注意,该器械不提供确诊。相反,它被用作一种筛查工具,根据检查结果为患者提供量身定制的建议。

 

收益-风险评估:应用FDA工作表

 

FDA在2019年的指导文件中概述了用于评估收益-风险的一些因素。本指导文件提供了一个工作表,用9个问题总结了利益-风险评估。

 

第1部分:效益和不确定程度的评估

 

收益-风险评估工作表的这一部分有两个问题:

 

-Is there any evidence of clinical benefit?

 

-What is the extent of uncertainty for the Benefits?

 

注意关键字临床用于限定器械预期使用范围内的收益-风险评估所考虑的收益类型。这些收益可能是由患者实际体验到的,也可能是由可接受的替代品反映出来的。

 

使用IDX-DR作为筛查工具的主要好处是通过早期发现和适当的医疗干预,避免潜在的严重健康状况(即视力丧失)。临床表现如敏感性、特异性、正负一致率等均表现出良好的疗效。

 

在一项涉及900名成人受试者的临床试验中获得的敏感性和特异性结果表明,筛查具有明显的益处。然而,由于观察到的灵敏度存在差异,不确定性水平为中等。

 

我们可以将问题1和问题2的答案总结为“Yes”和“Medium”,以此来衡量收益和不确定性的程度。

 

第2部分:风险和不确定性程度的评估

 

收益-风险评估工作表的这一部分有两个问题:

 

Are known/probable risks more than minimal?

 

What is the extent of uncertainty for the risks?

 

如果由眼科专家检查,患者极有可能得到糖尿病视网膜病变的临床诊断,那么主要的风险是无法正确检测出mtmDR。该事件的发生率(或流行率)可通过公式[1-NPV]估算,结果为4.3%。

 

假阳性的风险并不是特别严重,因为它只会导致去眼科医生那里进行进一步的检查和诊断。

 

这些风险与所有诊断器械相似,然而,由于灵敏度的95%置信区间较宽,不确定性水平很高。这种变化将影响假阴性的总体发生率。因此,我们应该将风险降到最低,并将不确定性维持在中等水平。

 

我们可以将问题3和4的答案总结为“Yes”和“Medium”,作为风险和不确定性程度的衡量标准。

 

第3部分:收益风险评估

 

在工作表的这一部分中只有一个问题和其他详细信息:

 

Do the Benefits outweigh the Risks, considering the assessment of Benefit and Risk and the extent of uncertainty identified above?

 

虽然由于几个缓解因素,总体风险较低,但由于敏感性的不确定性(即95% CI的下限小于性能阈值),收益存在不确定性。

 

在这个阶段,我们还不能断定利大于弊。因此,为了更全面地评估收益-风险,还应考虑其他因素。

 

第4部分:考虑其他因素

 

收益-风险评估总结工作表中的问题6至问题9提供了考虑其他因素的机会:

 

Q6:Do the Benefits outweigh the Risks, when taking into account additional relevant considerations?

 

Q7: Can the risks be mitigated, so that Benefits outweigh the Risks?

 

Q8: Do the Benefits outweigh the Risks considering the use of post-market actions?

 

Q9: Is there any evidence of clinical benefit for a modified Indications for Use?

 

根据DEN180001中提供的信息,我们可以得出结论,风险缓解因素,包括额外的标签要求,支持对总体收益-风险的有利评估。

 

医疗器械的收益-风险评估对风险从业人员来说仍然是一个挑战。尽管FDA和其他监管机构期望合理保证安全性和有效性,但提供相关信息以帮助得出预期用途的益处大于风险的结论是具有挑战性的。

 

FDA为医疗器械制造商提供了一份指南,其中包括带有问题的清单,以指导对收益-风险进行更有力的评估。风险从业人员应考虑使用这些清单来总结通过临床和非临床研究获得的相关科学证据支持的总体收益-风险。

分享到:

来源:MDR小能手