摘 要 / Abstract
单组目标值法是临床研究设计的重要类型之一,特别是在医疗器械的临床试验领域。我国和美国等国家和地区的医疗器械监管机构制定的指南等相关文件都对单组目标值法进行了论述,但尚未明确提出目标值具体该如何设定。本文分析了近年来采用单组目标值法设计的48 篇医疗器械临床试验文献,结果显示当前目标值的设定主要以“参考值+界值”的方法为主,目标值相对参考值的比值范围较大,从1.10~11.00,中位数为1.50(IQR 1.38~2.06),且随着参考值的增加而减少。因此,笔者建议在医疗器械的临床研究设计中当参考值<1%,1%~<5%,5%~<10%,≥10%时,目标值分别不宜超过参考值的3倍、2倍、1.75倍、1.5倍,如超过该范围应当有充分的理由。
Performance Goals (PGs) in single-arm studies are important in clinical study design, especially in medical device clinical trials. Medical device administrations in countries like China and the US have issued documents introducing PGs; however, specific ways to set a PG are unidentified. In this article, we reviewed 48 medical device clinical trials using PGs in single-arm studies in recent years, and found that the majority adopted the method of using a reference value and a critical value to determine a PG, with a varied ratio of the PG to the reference value, ranging from 1.10 to 11.00 (median 1.50, IQR 1.38~2.06), and the ratio decreasing as the reference value increased. Thus, we suggest that when the reference value is <1%, 1%~<5%, 5%~<10%, ≥ 10%, the PG should not exceed 3, 2, 1.75 or 1.5 times the reference in medical device clinical study designs; otherwise, justification should be stated.
单组目标值法是临床研究设计的重要类型之一,特别是在医疗器械的临床试验领域。我国和美国等国家和地区的医疗器械监管机构制定的指南等相关文件都对单组目标值法进行了论述,但均为原则性阐述,未明确提出目标值该如何设定,因此在实际应用中单组目标值的设定具有不确定性,给监管部门、申办方及研究者都带来了困难和挑战。单组目标值的设定直接关系着研究的样本量,能否充分评价产品的安全性和有效性,更关系到患者的利益,其重要性不言而喻。本文对近年来采用单组目标值法设计的医疗器械临床试验进行了研究,分析其目标值设定的具体方法,并对其合理性进行初步讨论,以期为医疗器械临床研究设计中单组目标值的设定提供参考与思路。
1、方 法
本文以PubMed数据库为数据源,检索式为:("performance goal "OR" objective performance criteria") ANDclinicaltrials.gov,检索时间:2000年1月1日~2022年4月16日,共获得相关文献54篇,其中包括药物研究文献2篇、研究设计介绍文献3篇、相同研究不同随访时间结果的文献2篇。删除药物研究及重复文献最终得到48篇文献,其中包括了3篇研究设计介绍文献。
2、结 果
48篇医疗器械临床研究相关文献中,最早的文献发表于2010年,且发文量有逐年增加的趋势,其中涉及外周血管介入治疗15篇、经皮冠状动脉介入治疗14篇及心脏瓣膜介入治疗7篇,位列前三。此外,心脏植入性电子装置(cardiac implantable electronic device, CIED)3篇、心室辅助装置3篇、左心耳封堵术2篇,均为近年来医疗器械研究的热门领域。另有14篇(29.2%)文献中提到了美国食品药品监督管理局(Food and Drug Administration, FDA)监管相关内容,见表1。
48篇文献中46篇研究终点为定性数据、2篇为定量数据,另有12项研究中设置了安全性和有效性2个研究终点。因此,48篇文献中共计60个研究终点,其中58个为定性数据,2个为定量数据。
本文中目标值指医疗器械应达到的最低标准,参考值一般为医疗器械既往研究的结果。48篇文献中,目标值的设定方法主要为参考值+界值,共21篇;其他还包括参考值的倍数、安慰剂疗效、参考值可信区间上下限、参考值可信区间上下限+界值、临床可接受、学会推荐、参考其他研究的目标值等。另有5篇文献的设定方法描述为“基于文献”,6篇文献未给出详细的设定说明。
对于目标值的具体计算,为便于比较和分析,本文将其统一为“参考值+界值”的方法,文献中应用可信区间的方法也统一转换为参考值+界值的方法。对于目标值高于50%的,统一转换为“1-目标值”,同时计算界值占参考值的百分比以及目标值相对于参考值的比值。结果显示有26篇文献的34个研究终点同时给出了目标值、参考值及界值的数据,其中33个为定性数据终点,1个为定量数据终点。定性数据的界值占比范围较大,从9.7%~1000.0%,中位数为50.0%[四分位距(IQR)37.6%~102.1%];相对应的目标值比值范围也较大,从1.10~11.00,中位数为1.50(IQR1.38~2.02),仅有的一个定量数据的界值占比为20%,相对应的目标值比值为1.2,如图1所示。此外,将研究的实际结果与目标值比较时,有20篇文献明确表示了使用单侧95%的可信区间,其中有15篇文献明确表示了使用确切概率法构建可信区间。
3、讨 论
通过分析可以看出,当前医疗器械临床试验中单组目标值法的目标值设定主要以参考值+界值的方法为主,界值与参考值比值的中位数约为50%,即目标值为参考值的1.5倍,且其范围较大。相关文献对于单组目标值的描述不够统一,也不够详细,本文列举的48篇文献中至少有11篇未给出目标值设定的具体的设定方法,仅有26篇具体列出了较为完整的参数。考虑到相关文献已经是质量较高的论文,推测实际中目标值设定的表述可能会更加不尽人意。
2013年FDA发布的《医疗器械关键性临床研究的设计考虑指导原则》(Design Considerations for Pivotal Clinical Investigations for Medical Devices)将单组目标值法分为客观性能标准(objective performance criteria,OPC)和性能目标(performance goal,PG),并指出OPC通常来自监管机构、专业学会或标准组织等,其证据等级高于PG。但该分类在临床试验实践中尚无严格的要求,导致相关文献中对两种提法的使用较为随意,从统计学角度来看这两种提法无实质性的差异。但《医疗器械关键性临床研究的设计考虑指导原则》没有明确目标值设定的具体方法,仅建议PG可以是有效性或安全性终点的可信区间上限或下限。2010年FDA发布的《心脏瓣膜-研究器械豁免和上市前申请草案》[Heart Valves-Investigational Device Exemption (IDE) and Premarket Approval (PMA)Applications DRAFT GUIDANCE]部分支持了《ISO 5840:2005心血管植入物-人工心脏瓣膜》(Cardiovascular implants -Cardiac valve prostheses)的相关规定,包括医疗器械相关的并发症应小于2倍的OPC,即可以理解为目标值不应超过参考值的2倍(该文件中OPC相当于参考值,不是本文所述的目标值)。但是这两个文件都已经废止了。
我国《医疗器械临床试验设计指导原则》参考了FDA相关指导原则中OPC和PG的概念,但也尚未明确目标值设定的具体方法,仅规定:目标值是专业领域内公认的某类医疗器械的有效性/安全性评价指标所应达到的最低标准,目标值的构建通常需要全面收集具有一定质量水平及相当数量病例的临床研究数据,并进行科学分析(如Meta分析)。2017年,中国临床试验生物统计学组发表的《单组目标值临床试验的统计学考虑》指出,目标值的确定主要有3种方式:①临床试验监管部门指南;②行业标准或专家共识;③同类产品历史研究结果,但这个文件并没有明确目标值建立的具体方法。从本文纳入的文献来看,在临床试验的实践中,目标值设计最常用的方法是参考值+界值,少数采用参考值的倍数。本文列举的文献中参考值一般是指既往研究中类似医疗器械或治疗方法的安全性/有效性终点的点估计值,而不是安慰剂疗效的点估计值。
尽管FDA的指导原则提出了利用(既往研究)可信区间上下限设定目标值的方法,也有部分文献中引用了此方法。但笔者认为该方法准确性有待商榷,由于可信区间与样本量相关,如果既往研究的样本量较小,可信区间较宽,则目标值显然会过于宽松;相反,如果既往研究的样本量较大,可信区间较窄,则目标值可能会过严而难以达成。此外,还有部分文献中采用了可信区间上下限+界值的方法,笔者认为更不值得推荐。因此,根据监管机构的指导原则以及临床试验的现状,建议研究人员可使用参考值+界值的方法设定目标值。该方法具备一个较为明确的参考值,且界值的选取可体现临床的观点,也便于不同研究之间的比较。参考值可通过既往研究获得(必要时进行Meta分析),而界值的设置成为关键。界值太小则研究难以达成,界值太大则直接放宽了医疗器械相关性能的要求,可能会损害患者的利益。一般界值相对于参考值的百分比,及目标值与参考值的比值,是比界值的绝对数值更为合理的指标。从本文列举的文献数据可以看出,目标值与参考值的比值与参考值的大小有关,这个比值随着参考值的增加而迅速减少。当参考值<1%,1%~<5%,5%~<10%,≥10%时,目标值不宜超过参考值的3倍,2倍,1.75倍,1.5倍。另外,将文献中的实际结果与目标值比较时,可信区间的构建方法及单侧或双侧的选用也应该慎重考虑。笔者认为相关问题已经不仅是单纯的统计学问题,一般情况下设定的界值越大,越需要强有力的临床意义来支撑,例如在显著减少严重并发症时才有理由对有效性终点范围的设定进行扩大。
实际中,采用监管机构或学会推荐的方法设置目标值的例子较少,主要是由于监管机构或学会推荐的目标值相对较少且相对固定,但是目标值的设置应随着医疗器械的发展而变化,每一个新的研究都需要重新考察目标值的设定。尽管如此,在设置相关参数时还应充分考量医疗器械注册审评中临床试验的具体要求,特别是近年来我国医疗器械监管政策创新发展较快,部分医疗器械产品的注册指导原则也开始推荐目标值的设置范围,建议应当优先参考。
由于本文的相关分析尚存在一定的局限性。首先在文献检索环节设置了在clinicaltrials.gov网站注册的要求,即未进行注册的文献将被剔除;其次,目标值的设定应紧密结合研究终点的临床意义(该点本文未进行展开分析)。由于单组目标值法无法进行平行对照,因此目标值通常应选择客观的终点指标,本文列举的48篇文献基本满足终点指标,研究终点包括死亡、心肌梗死、血运重建等主要不良事件,都具有重大临床意义。本文分析基于低优指标如死亡等,高优指标原理相同。综上所述,目标值的设定在单组目标值法研究设计中至关重要,研究人员应仔细权衡,特别需要考虑其临床意义。因此,建议当参考值为<1%,1%~<5%,5%~<10%,≥10%时,目标值不宜超过参考值的3倍、2倍、1.75倍、1.5倍,如超过该范围应当具备充分的理由。