您当前的位置:检测资讯 > 生产品管

医疗器械生产企业质量风险评价指标的构建研究

嘉峪检测网        2024-12-12 17:26

内容提要:目的:利用德尔菲法构建医疗器械生产企业质量风险评价指标框架,以实现医疗器械生产企业的分级分类管理,从而提高医疗器械生产企业检查效率、合理分配监管资源。方法:经过前期文献研究和现场实地调研,初步拟定一个指标框架,编制出调查问卷进行专家咨询,对专家意见进行整理和分析,确定最终的指标框架。结果:构建了医疗器械生产企业风险评价指标框架,涵盖5 个一级指标(产销能力、品控水平、科研能力、品种情况、监管情况)、32 个二级指标,并确定了各指标权重。结论:医疗器械生产企业质量风险评价指标具有科学性和实用性,可以作为医疗器械生产企业日常监管的重要参考工具。

 

关 键 词:德尔菲法 医疗器械 质量风险 分级分类

 

医疗器械行业具有涉及多学科、多领域,涵盖知识面广的特点,且医疗器械生产企业的质量管理水平参差不齐,给日常监管带来较大风险和挑战。同时,医疗器械产业发展迅速,目前全国共有医疗器械生产企业两万多家,日常检查无法做到全覆盖,而对于管理规范、信誉良好的低风险企业,频繁开展现场检查是一种行政资源的浪费和企业负担的增加。因此,探索医疗器械生产企业的分级分类管理,从而提高医疗器械生产企业检查效率、合理分配监管资源很有必要。2014年原国家食品药品监督管理总局就提出了医疗器械生产企业的分级监管,将医疗器械生产企业分为四个监管级别[1]。江苏省药品监督管理局和山东省药品监督管理局在2023 年都出台了医疗器械生产企业分级监管的细化规定,将医疗器械生产企业的分级监管向前推进了一步[2,3]。目前医疗器械生产企业质量风险的评价标准还不够完善,构建医疗器械生产企业质量风险评价指标框架有助于推进分级监管的贯彻落实。

 

1.资料与方法

 

1.1 一般资料

 

研究起止时间:2023年1月~2024年1月。纳入专家17位,其中10 位具有行政职务。年龄在30~40岁3 人,41~49岁10人,50 岁以上4 人;学历在硕士及以上7 人,本科10 人;职称/职级为正高/正处6 人,副高/副处8 人,中级/ 科级3 人;工作年限>30年4 人,21~30年7 人,8~20年6 人;工作地域涵盖上海、山东、江西等多个省份。总体来看,本次遴选的咨询专家具有权威性、专业性及代表性。

 

1.2 方法

 

1.2.1医疗器械生产企业质量风险评价指标框架构建。经过前期文献研究和现场实地调研,采用多维度罗列的方式,先经课题组内部研究讨论,提炼出了若干医疗器械生产企业的监管风险因素,再结合医疗器械行业的自身特点,初步拟定一个医疗器械生产企业风险评价指标框架 。

 

1.2.2指标筛选与修正。采用专家匿名咨询法进行指标的筛选和修正。问卷编制:将经过课题组研究和征求本单位检查员意见形成的指标框架,编制函询表进行第一轮专家咨询,回收并整理专家打分情况和建议。问卷中每个指标的重要程度采用李克特量表(Likert)7 级等距尺度评分,并有“修改意见”和“增减意见”栏目,供专家对指标提出修改或增减、合并等意见[4]。

 

1.2.3方法实施。问卷内容先行发送给专家审阅,然后组织召开第一轮专家咨询会进行评分。通过界值法对指标进行筛选[5]。本研究中满分比(Kj,%)是指对指标给出5 分及以上分数的专家数占参与专家总数的比重,Kj越接近100%,指标的重要性越高。根据第一轮专家咨询的统计分析、指标调整结果,再重新拟定指标框架并进行第二轮专家咨询。最后进行数据整理和统计分析,构建医疗器械生产企业风险评价指标框架。

 

1.3 统计学分析

 

积极程度用问卷回收率表示,协调程度通过肯德尔系数和变异系数进行考察,并行χ2 检验[6];权威程度通过专家对问题进行判断的依据及影响程度和专家对问题的熟悉程度两个方面决定,一般≥0.70 即可接受[7]。本研究采用优序图法计算出各指标的权重。

 

2.结果

 

2.1 专家咨询结果可靠性

 

2.1.1专家积极程度。本研究两轮咨询分别发出问卷17份,回收率均为100%,可见专家对本研究的积极程度很高。

 

2.1.2专家意见协调程度。第一轮和第二轮专家咨询的变异系数、肯德尔系数经χ2检验,差异有统计学意义(P<0.001),变异系数分别为0.196、0.148,肯德尔系数分别为0.408、0.349,χ2 值为249.456、213.382。说明两轮专家咨询的协调系数均符合要求,表示专家意见的协调程度较高、咨询结果可靠。

 

2.1.3专家权威程度。两轮咨询均由专家对本次咨询内容的判断依据及影响程度、熟悉程度进行自评,分别计算出判断系数和熟悉程度系数,进而计算出专家权威系数。两轮专家咨询的专家权威系数分别为0.839、0.847,均>0.70,说明专家的评分结果是可靠的。

 

2.2 德尔菲专家咨询法评分结果

 

第一轮专家咨询共对37个二级指标进行了研究评分。根据统计结果和专家意见,“近三年课题结题率”“近三年省部级以上课题立项数量”“近三年论文发表量”均有两项衡量尺度不符合入选要求,考虑到这三个指标与企业质量风险相关性较低,直接予以删除。“近三年生产变更次数”有专家认为该指标偏中性,“委托检验参数占比”有专家认为委托检验是法律认可的检验方式,其效力与公立第三方一样,建议删除,故将这两个指标均予以删除。另外,对于“产品结构组成”和“产品适用范围”这两个指标,有专家认为不好量化,建议删除,但因统计结果比较理想,故保留这两个指标并更名为“含无菌医疗器械产品数量”和“含植入性医疗器械产品数量”。另外,依据《药品监管大数据报告2022》的相关表述,在不改变指标意义的前提下,对部分指标名称进行了修改,如将“注册产品数量”修改为“许可产品数量”。

 

将第一轮专家咨询分析调整出来的32个二级指标分为5类,并根据各类别二级指标的共同性质和特点分别赋予了其一级指标,编制出新的指标框架进行第二轮专家咨询。第二轮专家咨询评分结果未产生指标变化。

 

2.3 指标权重计算结果

 

采用多输入加权优序图法对第二轮专家咨询之后确定的一级指标、二级指标进行权重计算[8,9]。医疗器械生产企业质量风险评价各指标权重详见表1。

 

2.4 医疗器械生产企业质量风险评价指标框架的检验

 

指标框架模型的可靠性和有效性检验主要包括效度检验和信度检验[10]。效度检验主要进行了探索性因子分析,探索性因子分析采用巴特利特球度检验的显著性和KMO值考察[11]。信度检验则采用克隆巴赫系数检验本评价指标模型的信度,标准为≥0.7。

 

2.4.1 调查对象结构分析。主要选择在本单位从事药品检查相关工作的人员作为研究对象进行问卷调查,目标人群既包括从事一线检查的人员,也包括从事检查支持工作的人员。问卷全部采用“问卷星”的方式收集,共收到113 份问卷信息。113名调查对象中,年龄以26~35岁为主,共45 人(占39.82%);学历主要为本科、硕士,分别为59 人(占52.21%)、47 人(占41.59%);专业背景以医药类专业为主,共61 人(占53.98%),其次是化工类专业,共24 人(占21.24%);男性有72 人(占63.72%),女性有41 人(占36.28%);技术职称以中级为主,有50 人(占44.25%);具有5 年以上工作经验的有86 人(占76.11%)。结果显示,选取的调查对象科学合理,对医疗器械生产企业质量风险评价指标重要性评分具有一定的可信度。

 

2.4.2 探索性因子分析。对5 个一级指标的32 个二级指标进行KMO值考察和巴特利特球度检验,判断本样本能否达到进行开展探索性因子分析的要求。判断的标准是各指标的巴特利特球度检验结果的差异有统计学意义(P<0.05),且KMO值均>0.7,则表明本样本数据达到了开展探索性因子分析的要求。结果显示,产销能力及其6 个二级指标KMO值为0.838,样本分布的巴特利特球度检验近似χ2=391.414(P<0.001);品控水平及其7 个二级指标KMO值为0.882,样本分布的巴特利特球度检验近似χ2=447.488(P<0.001);科研能力及其5 个二级指标KMO值为0.858,样本分布的巴特利特球度检验近似χ2=620.627(P<0.001);品种情况及其5 个二级指标KMO值为0.827,样本分布的巴特利特球度检验近似χ2=638.785(P<0.001);监管情况及其9 个二级指标KMO值为0.878,样本分布的巴特利特球度检验近似χ2=705.491(P<0.001)。本研究各指标KMO值均>0.7,巴特利特球度检验结果均有统计学意义(P<0.05)。

 

2.4.3 信度分析。本研究采用克隆巴赫系数检验医疗器械生产企业风险评价指标模型的信度。结果显示,该指标框架整体克隆巴赫系数为0.965,各指标的克隆巴赫系数为0.966~0.968。

 

3.讨论

 

本研究结果显示,两轮专家咨询的问卷回收率均达到100%,说明专家参与本研究的积极性很高。两轮咨询统计结果都有均值和满分比不符合界值法的入选要求,特别是满分比不符合入选要求的指标较多,说明专家对部分指标的重要性持怀疑态度,但没有出现3 个衡量尺度均不符合界值要求的指标,变异系数及肯德尔系数均符合标准要求,说明专家的协调程度较高。在一级指标权重方面,5 个一级指标权重为11.045%~31.463%,其中品控水平的权重最高,说明对于医疗器械生产企业来说,具备较高的质量控制和管理能力对于防范和降低质量安全风险是至关重要的。在二级指标权重方面,32 个二级指标权重为1.125%~6.147%,其中近三年关键岗位人员变换数量、含植入性医疗器械产品数量和质量部门专业人员占比的权重较高,均在5%以上。近三年关键岗位人员变换数量和质量部门专业人员占比都属于品控水平的二级指标,说明专家一致认同品控水平对生产企业的重要性。此外,二级指标中年度产值、近三年生产设备购置金额、委托生产产品数量、近三年课题立项数量、研发人员数量、备案产品数量、两年内主动停产次数和最近一次停产周期的权重较低,均在2%以下,均不是品控水平的二级指标,说明生产企业的规模、科研情况及生产方式对质量风险的影响较小。这些权重分析结果,也为医疗器械生产企业的分级分类研究和质量风险分析等提供了参考和方向。

 

 

分享到:

来源:中国医疗器械信息