中医药国际标准实施效果评价指标体系构建研究❋
时间：2023-03-23 10:10:06 来源：柠檬阅读网 本文已影响 人 
王晶亚，宗星煜，王丁熠，李慧珍，梁 宁，宋 填，王梦琪，刘玉祁，刘孟宇，于亚笛，王燕平△，史楠楠△
(1.北京市东城区社区卫生服务管理中心，北京 100010；
2.中国中医科学院中医临床基础医学研究所，北京 100700；
3.国家市场监督管理总局国家标准技术审评中心，北京 100088)
随着中医药在全球巨大医疗价值和市场潜力的日趋显现，中医药已传播到196个国家和地区[1]。国际标准作为能够反映中医药在全球经济效益的最佳手段，受到各国普遍关注，相关国际组织纷纷开展中医药国际标准化活动。中医药国际标准作为中医药标准化的重要组成部分，是推动中医药走向全球的重要抓手和有效载体，也是实现中医药国际化的关键途径[2]。截至目前,由国际标准化组织(International Organization for Standardization,ISO)中医药技术委员会(ISO/TC249)发布的中医药国际标准已有89项，涉及中药材及产品、针灸针具、诊疗设备和术语信息等领域，为中医药在全球范围内传播发挥了重要作用，促进了中医药国际服务贸易的发展[3,4]。
标准实施效果评价是标准化工作的重要组成部分，2015年《深化标准化工作改革方案》中明确提出“开展标准实施效果评估”[5]。通过实施效果评价能够了解标准的实施情况，发现实施过程中的不足之处，从而及时制修订标准，对于提升标准质量、优化完善标准体系、推动标准化工作持续健康发展具有重要意义[6,7]。目前中医药国际标准主要集中在制定方面，缺少标准的推广应用和实施评价[8]。关于标准的质量、水平及实施效果如何尚不清楚，尚未建立科学的评价指标体系和评价方法[9]，亟须建立中医药国际标准实施效果评价机制，对标准及时进行效果评价，这对于提升我国中医药国际标准制定质量、研制国际社会需求度高和中医药发展水平相适应的中医药国际标准具有至关重要的意义。
针对标准开展实施效果评价研究，构建科学的评价指标体系尤为重要。因此，本文积极探索构建中医药国际标准实施效果评价指标体系，以期为标准化相关机构和组织开展中医药国际标准实施效果评价提供参考。
遵循合理严谨的评价原则，建立科学的评价指标体系，对指导标准实施效果评价至关重要。构建中医药国际标准实施效果评价指标体系应遵循以下原则[10]。
1.1 目标导向原则
评价工作的开展是为评估目标服务的，应明确评价的目标和评价结果的应用者，科学选择评价指标。构建中医药国际标准实施效果评价体系目标要与中医药国际标准发展相一致，才能充分发挥实施效果评价的作用，才能不断完善标准，让标准发挥规范和引导作用。
1.2 统筹兼顾原则
由于中医药在国内外发展不均衡，标准共性和中医药特殊性导致标准实施信息的差异。构建中医药国际标准实施效果评价体系要立足国内国际，统筹兼顾中医药实际发展情况，考虑标准化与中医药的共性规律和特点，对标准实施情况从不同角度、维度选取适宜的评价指标。
1.3 分类实施原则
中医药国际标准分类众多，各类型标准技术内容、实施应用主体及利益相关方等不同，导致设定实施效果评价指标、选择分析方法时也存在差异，因此在构建中医药国际标准实施效果评价体系时，应根据标准类别特点制定合适的评价指标和方案，分类、汇总统计标准实施数据，保证评估结果的客观和科学性。
2.1 指标体系框架建立
采用文献分析法，查阅标准相关网站、中国知网、万方、Pubmed等数据库，检索与标准实施效果评价相关的标准、规范及文献，提取和筛选相关评价指标，同时结合专家访谈法，选择中医药标准化、标准化评估及国际标准化相关领域专家进行深度访谈，了解中医药国际标准实施效果评价的关键环节、共性特征及其影响因素。在此基础上，围绕标准技术水平、实施情况和实施效益3个维度，建立中医药国际标准实施效果评价指标体系框架，包含3个一级指标、9个二级指标和27个三级指标的评价体系。
2.2 德尔菲法筛选评价指标
2.2.1 专家选择 研究邀请从事标准化、中医临床、中药学及中医信息学等领域的专家，参与中医药国际标准实施效果评价指标体系的专家咨询，要求专家对于本研究主题具有一定权威性和工作经验，且积极自愿参与研究。
2.2.2 问卷设计与发放 根据指标体系设计德尔菲专家咨询问卷，包含研究背景、填写说明、专家资料、指标重要性评分，专家对指标的熟悉度和判断依据内容。根据李克特5分制量表，设置各指标的重要度为“很重要、重要、一般重要、不太重要、不重要”，并分别赋分“5、4、3、2、1”；
熟悉程度方面，分别设为“很熟悉、熟悉、一般熟悉、不熟悉、很不熟悉”，并赋“1.0、0.8、0.6、0.4、0.2”分；
判断依据有理论分析、工作经验、参考国内外文献和直觉，每个影响程度设为大、中、小3级(见表1)。问卷发放为电子和纸质相结合，对邀请的专家进行两轮咨询。在第一轮问卷结束后，对专家意见和评分结果进行汇总分析，再修改完善指标体系，并将指标增减意见及重要性评分情况反馈给第一轮咨询专家，开展第二轮问卷征询。
表1 专家判断依据评分表
2.3 统计学方法
3.1 专家基本情况
本研究共选取来自不同研究领域的17位专家，其中男性11人，女性6人，所选专家均有从事标准化相关研究及国际标准研制的经验，拥有较高权威性(见表2)。
表2 专家基本信息情况
3.2 专家积极系数
专家积极系数能够反映专家对本研究的积极关心程度，以问卷回收率表示。通常认为回收率超过70%时，专家对该咨询积极关心程度较高[11]。本研究中第一轮共发放专家问卷17份，回收了13份，专家积极系数为76.47%。第二轮共发放专家问卷13份，全部回收，专家积极系数为100%。两轮积极系数结果表明，邀请的专家均对研究内容有较高的积极性。
3.3 专家权威程度系数
专家权威系数主要取决于专家对问卷的熟悉程度和判断依据两方面，即专家权威系数=2/(熟悉程度系数+判断依据系数)。一般认为，权威系数>0.7则咨询结果比较好[12]。根据两轮的专家熟悉程度和判断依据结果，计算得出专家权威系数分别为0.93和0.95，结果均高于0.7，说明本研究专家咨询结果较为可靠(见表3)。
表3 专家权威系数情况
3.4 专家协调系数
专家协调系数反映的是专家对指标意见程度的一致性，通常以肯德尔和谐系数(Kendall’s W)表示，即Kendall’s W检验，取值在0-1区间，数值越大则表示专家协调度越高，结果更为可靠[13]。通过两轮Kendall’s W一致性检验可知，第一轮Kendall’s W为0.271，第二轮Kendall’s W为0.308，较第一轮有所提升，表明专家对评价指标的意见存在一致性，总体协调性较好(见表4)。
表4 专家协调系数情况
3.5 指标筛选结果
本研究的指标筛选标准为：即当指标均重要性数值≤3.5或K值≤20%或CV值>0.25，满足其中任2项时，即专家认为该指标有较低的重要性，应予考虑删除。
第一轮专家咨询结果：一二级指标重要性评分均>3.5，K值在23.07%-100.00%间，CV值在0-0.2间未达到删除标准遂保留；
三级指标中“技术创新”指标均数<3.5，且满分比仅7.69%，满足删除标准，同时结合专家意见和组内讨论予以删除。此外，根据第一轮专家意见和组内讨论，在二级指标“适用性”和“先进性”下分别增加“可操作性”“技术成熟度”三级指标；
将三级指标“标准转化应用”合并入“国家政府部门应用”指标；
调整三级指标“与相关政策规范协调”为“与利益相关方国家政策规范协调”“与其他标准协调”为“与其他国际标准协调”“提高效率”为“提高效益”，“能源消耗”为“资源节约”。
第二轮专家咨询结果，在所有一二三级指标均数均>3.5，其中三级指标中“与国家药典协调”“标准宣贯”的CV值>2.5，“标准知晓度”满分比<20%，但因未达到删除标准而予保留。在本轮咨询中各专家对一级指标予以高度肯定，无修改意见；
根据专家意见和小组讨论，将三级指标中“市场需求”调整为“国际需求”。本轮专家意见整体趋于一致，对各指标也都比较认可，最终形成中医药国际标准实施效果评价指标体系(见表5)。
表5 第二轮专家对各指标评分情况
4.1 构建科学的评价指标体系是中医药国际标准实施效果评价的关键环节
标准的生命和价值在于实施，开展标准实施效果评价是促进中医药标准化良性发展的重要一环[14]。科学地构建评价指标体系是科学统计和评价分析的基础，更是开展中医药国际标准实施效果评价的关键环节。本研究根据评价目的，系统梳理中医药国际标准实施评价共性特征，明确评价指标体系构建原则，通过相关标准和文献收集与分析，筛选与细化不同层次、不同类别的评价指标，建立中医药国际标准实施效果评价指标体系框架，同时依据专家在中医药及标准化研究领域的知识与经验，通过专家深度访谈、德尔菲专家咨询的定性与定量相结合的方法，筛选中医药国际标准实施效果评价指标，在一定程度上体现了构建过程中的科学性。此外，参与本研究咨询的专家均属于中医药或标准化研究领域，且以高级职称为主，咨询对象具有一定的权威性，经过两轮反复征求专家意见，并对专家积极程度、权威程度、协调程度等指标进行细致分析，保证了中医药国际标准实施效果评价的可信度。同时结合专家反馈的修改意见，避免了单纯依靠评分的片面性，使得筛选结果更为科学，更符合中医药国际标准实施效果评价工作开展的实际需求。
4.2 指标体系内涵分析
中医药国际标准实施效果评价指标体系围绕标准技术水平、实施情况及实施效益这3个维度设置指标，其中技术水平是基础，实施情况是主体，实施效益是关键，三者相辅相成，共同支撑评价指标体系开展，体现了标准实施效果评价环节的全面性。
标准的技术水平是对标准技术内容自身评价的一系列指标[15]。侧重实施后相关方对技术内容的反馈，包括适用性、协调性、先进性3方面。标准适用性好，则标准的应用效果好，反之亦然。协调性即技术协调性，应明确中医药国际标准与其他国际、国家、行业标准等的关系，避免标准间重复性。先进性即标准的技术水平是否代表本领域最高水平，中医药国际标准中标准的技术内容可能不是最先进的，但其必须适应当下的主流技术或成熟技术。标准的实施情况是指标准发布后，利益相关方对中医药国际标准实施应用的情况，是标准实施全过程的直接体现，也是最关键环节[16]，主要从标准推广、引用及应用3方面展开。标准在发布后，相关机构或组织进行宣传、培训等活动形式，以确保中医药国际标准能够有效实施，同时标准制定即是为了标准应用，通过标准的应用才能体现标准的价值。标准实施效益是标准在实施后带来的积极影响或有益效果，主要包括经济、社会、生态效益3方面。中医药国际标准的研制和实施目的是人类社会的健康事业服务，其实施效益是评价标准实施效果的重要指标[10]。经济效益可体现在中医药生产、加工、贸易等价值链各环节中，如中医药企业生产成本与劳动成本减少，相关产品贸易额增加，质量合格率提高等。社会效益涉及因素较多，可从产业发展、服务水平、科学技术、公共安全4方面进行评估。生态效益是指中医药相关生产或产业运行对生态系统带来的影响，如在中药材生长环境保护、中药产品生产中废液、废固、废气排放等过程中的规范作用，可从资源节约、污染排放方面评价。
4.3 中医药国际标准实施效果评价指标体系需要实践验证
本文初步探索性地构建了中医药国际标准实施效果的评价指标体系，以期推动中医药国际标准实施效果评价研究，为相关的标准化机构开展标准评价及制修订等工作提供参考，但也存在一定局限性。首先因实际情况和条件所限，未能进行大范围的专家咨询，使得评价指标筛选可能存在一定偏倚；
其次实践是检验真理的唯一标准，本次构建的中医药国际标准实施效果评价指标体系尚有待通过开展实际标准实施效果应用评价，实现标准化的双向目标。下一步拟通过引入层次分析法与模糊综合评价法，建立中医药国际标准实施效果评价模型，开展中医药国际标准实施效果评价，通过实践来检验指标体系是否合理，也通过实际评价形成结果反馈，从而优化完善评价体系。
