循证医学
循证医学(英语:Evidence-based medicine,缩写为 EBM),是一种医学诊疗方法,它将证据依知识论上的强度分类,并要求只有强度最高的证据(如元分析、系统性评论和随机对照试验)才能归纳为有力的建议证据;相对较无力的证据(如专家意见、动物实验、细胞实验、基本原理推论)只能归入有力程度不高的建议。这个词本意是阐述一种方法,用于医学诊疗教学及改善不同医师面对不同患者时的决策方式[1]。此名称的应用范围快速扩大到包罗更广的循证实践,以设计适用于患者群和整个群体的指引及政策(循证诊疗政策)[2],包含教育、管理、法律、公共政策和建筑安全等其他研究领域 [3]。
循证医学主张决策和政策皆应尽可能根据证据,而非单单依据从业人员、专家或管理者的信念,无论是应用在医学教育,个人决策,适用于群体的指引和政策,还是一般健康服务的管理上。因此,它试图确保临床医师的意见(可能受限于知识差距或偏误),有基于科学文献的所有可用知识补足,保证服务为最佳诊疗。循证医学与传统医学的不同处是,它并不依赖于经验主义或过往案例,提倡使用正式且明确的方法来分析证据,并提供给决策者。它推动课程向医学生、从业人员和决策者传授这个方法。
背景,历史和定义
编辑广义来说,循证医学是应用科学方法进行医疗决策。医学在基础及临床研究两方面都有悠久的传统,至少可以追溯到阿维森纳[4][5]。早期对医学统计方法的评论发表在1835年[6]。
然而,过去将研究结果纳入医疗决策的过程还是非常主观[来源请求]。针对个别患者进行决策的传统方法,被称为“临床判断”和“医学艺术”,这个方法由各医师决定参考哪些研究证据(如果有的话),以及如何将证据与个人信仰和其他因素整合起来[来源请求]。适用于患者群体或族群的决策,通常会由专家委员会制定,但没有正式的流程决定研究证据如何选择,及如何与委员会成员的信仰整合[来源请求]。有一个隐含假设,决策者和政策制定者将根据他们的教育、经验和进行中的研究等可适用的相关文献,将以上循证与他们的思维结合[来源请求]。
临床决策
编辑自1960年代末起,传统医疗决策出现许多问题。1967 年阿尔文·芬因斯坦(Alvan Feinstein)的著作《临床判断》聚焦于临床推理的角色,并寻找可能影响它的偏误[7]。阿奇·考科蓝(Archie Cochrane)在 1972 年出版《效能和效率》,描述许多缺乏对照试验支持但过去认为可能有效的诊疗方式[8]。杰翰·温堡(John Wennberg)在 1973 年开始记录医生诊疗上的广泛差异[9]。到1980 年代,大卫·M·艾迪(David M. Eddy)描述临床推理上的错误和与证据间的鸿沟[10][11][12][13]。到 1980 年代中期,芬因斯坦、大卫·萨克特(David Sackett)等人发表教科书《临床流行病学》,认为医师决策应采用流行病学方法[14][15]。到 1980 年代末,兰德公司的一个小组显示,即使按照专家自己的标准,医师们执行的大部分处置并不合格[16]。这领域的研究让我们更了解医疗决策的弱点,不论是针对个别患者或整个族群,并为后续的导入循证方法铺路。
循证
编辑目前“循证医学”一辞有两个主要分支。时序上,首先是指“在发布临床诊疗指引和其他族群层次政策时,坚持对有效性证据进行明确评估”。第二是“将流行病学方法导入医学教育和个别患者层面的决策”[来源请求]。
循证指引和政策
编辑大卫·艾迪在他的课程中首次使用“循证”(evidence-based,以证据为基础)一辞,课程主题是族群层次的政策,包括新技术的临床诊疗指引和保险给付。1987 年,他在医学专科学会委员会委托的研讨会和手册中首次使用“循证”来教授临床诊疗指引设计的正式方法。该手册在 1980 年代后期以未发表形式广为流传,最终由美国医学院出版[17][18]。1990年3月艾迪在《美国医学会杂志》发表的文章,首次使用“循证”一辞,同时阐述循证指引和族群层次政策的原则,并描述为“明确描述与政策相关的现有证据,并将政策与循证联系起来。有意识地将政策根基于实验证据,而非当前做法或专家信念。政策必须与循证一致并有循证支持。必须找到、描述并分析相关证据。政策制定者必须确定政策是否与循证相符,并写出理由[19]”。1990年春季,他在《美国医学会杂志》发表的其他论文中讨论“循证”政策[19][20]。这系列论文共 28 篇,1990 至 1997 年间发表在《美国医学会杂志》上,主题在族群层次,设计指引和政策的正式方法[21]。
医学教育
编辑“循证医学”一辞,稍晚导入医学教育。这分支源于临床流行病学。1990年秋天,麦克马斯特大学的戈登·盖亚特( Gordon Guyatt)在未发表的课程说明中使用这个辞[22],课程是针对未来或新进的医学生。盖亚特等人在两年后(1992年)首次发表这个术语,用来描述一种教授医学诊疗的新方法[1]。
1996年,大卫·萨克特等人清楚定义这分支的循证医学为“照护个别患者时,决策时应认真、明确且审慎地使用现有的最佳证据…这表示需整合个人临床专业和源自系统性研究产生的最佳外部临床证据[23]”。这分支的循证医学,利用充分反映研究的证据,使针对个人的决策更有结构化且更客观[24][25]。应用族群数据于个别病患照护[26],同时尊重临床工作者具有专业知识的实情,反映在有效果和有效率的诊断,周全地识别且体贴地考量个别患者的困境、权利和偏好[23]。
此支系的循证医学源于临床流行病学,此学科教授医疗工作者如何应用临床和流行病学研究诊疗。在 1993 至 2000 年间,麦克马斯特大学的循证医学工作小组为广大医师读者群,在《美国医学会杂志》发表一系列共 25 篇的〈医学文献用户指引〉。1995年,罗森伯格(Rosenberg)和唐纳德(Donald)为针对个人的循证医学定义为“寻找、评估和使用当代研究成果作为医学决策基础的过程[27]”。2010年,格兰格(Greenhalgh)使用一个强调定量方法的定义:“由高品质研究中的族群样本,求得效益和伤害风险的数学估计值,做为诊断、评估或处置个别患者的临床决策信息[28]”。针对个人层级的循证医学还有许多其他定义,但萨克特等人的定义是最常被引用的[23]。
这两个循证医学原始定义[哪个/哪些?]的重要差异,主要在于应用对象是族群或个人。当设计适用于一大群人的指引时,个别医生少有机会修改的机会,循证政策制定强调应有良好的证据支持检验或治疗的效果[29]。在为个人决策时,临床工作者可更自由地解读研究,并与其临床判断整合[23][30]。2005年,艾迪为循证医学的两个分支提供一个总括定义:“循证医学是一套原则和方法,旨在确保制定医疗决策、指引和其他类型的政策时,尽最大可能根据有效果与效益的良好证据,并与之一致[31]。”
进展
编辑循证医学的两个分支传播迅速。在循证指引和政策方面,1980年美国癌症协会开始明确坚持有效性证据[32]。1984年起美国预防服务工作小组(英语:the U.S. Preventive Services Task Force,缩写作 USPSTF)开始根据循证原则发布预防性处置指引[33]。1985年,蓝十字蓝盾协会以严格的循证标准评估新技术[34]。1987年起,美国医师学会等专科协会,和美国心脏协会等自愿者健康组织,编写许多循证指引。1991年,美国管理式医疗机构凯萨医疗机构开始循证指引计划[35]。1991年,理查德·史密斯(Richard Smith)在《英国医学杂志》发表一篇社论,介绍英国的循证政策[36]。1993年,考科蓝合作组织建立由13个国家组成的网络,制作系统综述和指引[37]。1997年,美国医疗保健研究和品质机构(AHRQ,后来的健康保健政策和研究机构或 AHCPR)建立循证诊疗中心,制作支持指引发展的循证报告和科技评估[38]。同年 AHRQ、AMA 和美国健康计划协会(现为美国健康保险计划)建立遵从循证政策原则的国家指引交换机构[39]。1999年,英国成立英国国家健康照护卓越研究院(NICE)[40]。这个循证医学分支的核心思想是:证据应根据实验设计的严谨程度分类,再由证据强度决定建议强度。
医学教育端,加拿大、美国、英国、澳洲和其他国家的医学院成立教授循证医学的课程[41][42]。一个2009年针对英国课程的研究发现,半数以上的英国医学院有某种循证医学训练课程,尽管授课的方法和内容差异很大,教学受课程时间不足限制,缺乏训练有素的导师和教材[43]。已发展许多项目协助个别医师更便利地取得循证。如,在 1990 年代开发的 UpToDate[44]。考科蓝合作组织自 1993 年起发表证据评论[35]。BMJ 出版集团在 1995 年出版名为《临床证据》的半年刊,针对临床医师在意的重要临床问题,提供现有循证的精要摘录[45]。从那时起,还发展许多计划,协助临床工作者更容易取得循证。
目前做法
编辑21世纪初期,“循证医学”一辞既用于循证指引的发展,也用于教授从业人员循证医学的计划。到 2000 年,“循证医学”已成为强调应用循证于族群和个人层级决策的总称。随后数年,“循证”一辞已扩展到医疗保健系统的其他层面。例如:“循证卫生服务”,旨在提高卫生服务决策者的能力,并在组织或机构层面应用循证医学[46]。这个概念也蔓延到医疗保健以外;如,1996 年皇家统计学会主席阿德里安·史密斯(Adrian Smith),在就职演说提出“应该为教育、监狱和警务政策及政府工作的所有领域建立‘循证政策’”[来源请求]。
循证医学的多个分支强调将正式研究证据纳入医疗政策和决策的重要性。但在推广指引或给付政策前,各分支对有关效果好证据的需求差异很大;因此,循证医学和科学医学(science-based medicine)间的区别,也考虑以下因素,如:过往既定科学的合理性和相容性,就像医疗组织推广有争议的处置,如针灸等[47]。决策上,他们在纳入个人层级信息的可行性程度也不同。因此,循证指引和政策可能无法轻易整合经验诊疗(符合伦理的临床判断),并可能导致矛盾、竞争和意外危机[13] 。最有效的“知识领导(临床领导和管理者)”在决策过程中使用各种管理知识,而非只有正式证据[14]。循证指引可成为健康照护治理术的基石,并在当代健康照护系统的治理中发挥核心作用[15]。
方法
编辑步骤
编辑1980年代后期提出明确设计循证指引的步骤:提出问题(族群,处置,对照处置,结果,时间范围,情境);搜寻找出可以回答问题的文献;解读各个研究,明确地找出它对研究问题的看法;若有数个研究探讨这个问题,整合他们的结果(元分析);在“循证列表”中总结所有证据;在“资产负债表”中比较效益、危害和花费;为偏好的诊疗方式下个结论;写下指引及其背景理论;让其他人审查前面的每个步骤;执行指引[12]。
1992年提出以医学教育和个人层级决策为目的,执行循证医学的五个步骤[48],2003年循证医疗保健教师和开发者会议,汇整参加者经验总结出五个步骤,在2005年发表[49]。这五步骤大致可归类为:
- 将不确定性转化成一个可回答的问题,包括批判性审问,研究设计和证据强度[50];问题会依其特质,分为背景和前景问题两大类,前景问题常以前景问题格式表示。
- 系统性检索现有的最佳证据[51]
- 严格评读证据的内部效度,并可分解为[52]:
- 因选择偏误,信息偏误和干扰因素而产生的系统性误差
- 诊断和治疗的定量结果
- 效应值及其精确度
- 结果的临床重要性
- 外部效度或可推广性
- 应用结果在临床诊疗中[53]
- 成效评估[54]
循证评论
编辑对已发表研究进行系统性评论是评估特定治疗的重要部分。考科蓝合作组织是进行系统性评论的最知名组织之一。与其他系统性评论的生产者一样,它要求作者提供详细且可重复的文献检索和证据评估计划[55]。一旦评估了所有的最佳证据,治疗将可分为(1)可能有益,(2)可能有害,或(3)证据不足以支持有利或有害。
2007 年针对考科蓝协作组织所有50个评论小组的1,016篇系统性评论进行的分析,研究发现 44% 的评论认为处置可能有益,7% 认为处置可能有害,49% 显示没有足够的证据支持有益或有害。96% 认为需要进一步研究[56]。一篇 2001 年的评论,分析 160 篇在 1998 年数据库中的考科蓝系统性评论(排除替代治疗),根据两位研究者的评论,41% 结论是有效或可能有效,20% 认为没效,8% 认为有害,而 21% 的评论认为证据不足[57]。针对 2004 年数据库中的 145 篇有关替代医学的考科蓝评论的研究,结果显示 38.4% 的结论认为有效或可能有效(12.4%),4.8% 认为无效,0.7% 认为有害,56.6% 认为证据不足[58]。2017 年研究评估考科蓝协作组织出版的系统性评论对美国私人保险公司制定政策的作用,结果显示尽管美国主要私人保险公司的医疗政策文件使用考科蓝系统性评论,但仍有空间鼓励使用更多[59]。
评估证据品质
编辑证据品质可依来源类型评估(来自元分析和系统性评论,它纳入有着良好盲法,完全隐匿分派,没有追踪遗失,没有不当解盲,且符合一般常识的随机临床试验),和其他因素ー包括统计有效性,临床相关性,费用和同行评审。循证医学将不同类型的临床证据分类和评等[60],依据研究是否能免于各种会影响它的偏误。如,证据力最强的治疗处置研究是系统性评论,且需纳入随机且隐匿分派,完整追踪,同质性高的族群和医疗情况,盲法评估的安慰剂对照试验。相比之下,病患推荐、病例报告还是专家意见(然而,一些批评者认为专家意见“不应列于经验证据品质排名中,因为它并不属于某种经验证据”,且“专家意见更像一种独立且复杂的知识类型,不适合放在只限于经验证据的等级之中”[61])没有作为参考证据的价值,因为存在安慰剂效应,观察和报告个案时固有的偏误,难以确定谁是专家等。
许多组织发展了证据品质的评级系统。如,1989年美国预防服务工作小组提出以下建议[62]:
- I 级:证据来自至少一个设计良好的随机对照试验。
- II-1 级:证据来自未随机化,设计良好的对照试验。
- II-2 级:证据来自设计良好的世代研究或病例对照研究,最好包含一个以上的医疗中心或研究群组。
- II-3级:证据来自多个时间序列研究不论是否有处置介入。有特别显著结果的无对照试验也纳入这一级。
- III 级:意见来自受尊敬的权威人士、临床经验、描述性研究或专家委员会报告。
另一个例子是英国牛津循证中心(英语:the Centre for Evidence-Based Medicine,缩写作 CEBM)的证据等级。它首次发表于2000年9月,为预后,诊断,治疗效益,治疗伤害和筛查类别的证据评等,大多数的评等系统并未处理这些问题。原始的 CEBM 等级源自《循证值班》(英语:Evidence-Based On Call),它的目的在使寻找证据的过程可行且结果明确。2011年,一个国际团队重新设计牛津证据等级,使它更易理解,并纳入证据评等系统的最新发展。牛津证据等级被患者和临床医师使用,也用于制定临床指引,包括:在银屑病有效使用光疗和局部治疗的建议[63],及使用BCLC分期系统诊断和追踪肝细胞癌的加拿大指引[64]。
2000年,证据等级评比系统(简称GRADE,是 Grading of Recommendations Assessment, Development and Evaluation 的缩写)工作小组发展一个系统,除了医学研究的品质外,还考虑更多维度[65]。它要求使用 GRADE 评估证据品质时,通常是系统性评论的一部分,考虑不同因素对结果信心水平的影响。研究者根据观察效果(数值)与可能的真实效果间的近似程度,产生信心值,依此利用 GRADE 将证据品质分为四级。信心值根据五个不同领域,以结构化方式计算[66]。GRADE 工作小组依研究品质定义“证据品质”和“建议强度”,这两个是不同的概念,但却常常相互混淆[66]。
系统性评论可能纳入低偏误风险的随机对照试验,或具高偏误风险的观察型研究。以随机对照试验为例,属高证据品质,但在五个不同领域可被降级[67]。
- 偏误风险(英语:Risk of bias):根据纳入研究的效果估计值受偏误影响的可能性决定。
- 不精密(英语:Imprecision):根据观察的效果估计值可能完全改变的可能性决定。
- 间接性(英语:Indirectness):根据研究如何执行的特色与结果将实际应用的方式,依两者的差异决定。
- 不一致(英语:Inconsistency):根据纳入各研究结果间的变异量决定。
- 出版偏差(英语:Publication bias):根据是否所有研究证据皆纳入考虑决定。
若是观察型研究,证据品质依 GRADE 起始评分较低,除了可能易被降级外,亦可以依三个领域的情况升级[67]。
- 效益很大:当方法学佳的研究观察到的效果大到结果完全改变的机会极小。
- 可能的干扰将改变效益:尽管可能的干扰因素存在,预期将会降低观察到的效益,但效益估计值仍然显著。
- 剂量反应梯度:处置的疗效随使用剂量增加而变大。剂量若再增加,产生的效果可能更大。
GRADE 证据品质强度代表的含义[66]:
- 高品质证据:作者非常有信心,呈现的估计值非常接近真实数值。可解释为“未来研究会完全改变结论的可能性极低”。
- 中品质证据:作者有信心,呈现的估计值接近真实数值,但也可能不同。可解释为“未来研究可能会完全改变结论”。
- 低品质证据:作者对结果估计值没有信心,估计值与真实数值可能不同。可解释为“未来研究很可能会完全改变结论”。
- 非常低品质证据:作者对结果估计值没有任何信心,估计值将与真实数值不同。可解释为“未来研究将很有可能会完全改变结论”。
建议等级
编辑对临床服务提供建议的指引和其他出版品,在平衡风险与效益,考量信息所依据的证据等级进行分类。美国预防服务工作小组使用[68]:
- A 级:好的科学证据显示,临床服务的好处大大超过潜在的风险。临床医师应与符合条件的患者讨论服务。
- B 级:至少一般的科学证据显示,临床服务的好处超过潜在的风险。临床医生应与符合条件的患者讨论服务。
- C 级:至少一般的科学证据显示,临床服务有好处,但与风险差异太小,而无法提供一般性建议。除非有特别考量,否则临床医师不需要提供。
- D 级:至少一般的科学证据显示,临床服务的风险大于潜在好处。临床医师不应常规为无症状患者提供服务。
- I 级:科学证据缺乏、品质不佳或结论相冲突,因此无法评估风险与好处的差异。临床医师应帮助患者了解临床服务的不确定性。
GRADE 指引小组成员可根据其它标准提出强烈或薄弱建议。一些重要条件,包括:平衡好处和不良反应(不考虑费用),证据品质,价值、偏好及费用(耗费的资源)[67]。
尽管各评量系统存有差异,但宗旨一致:指导临床研究信息的使用者,哪些研究可能最可信。然而,个别研究仍需经过严格评读。
统计量
编辑循证医学试图以数学方法说明检测和治疗的临床效益。使用的工具包括:
- 相似比:特定诊断的前测胜算乘相似比,等于后测胜算(胜算可与大家更熟悉的几率转换计算)。这是贝氏定理的体现。相似比和临床检测不同,前者可在特定临床情境依临床检测的有效性安排优先级。
- AUC-ROC:接收者操作特征曲线下面积(英语:the area under the receiver operating characteristic curve,缩写作 AUC-ROC),代表特定检测,其灵敏度和特异度间的关系。高品质的检测,AUC-ROC会很接近1,且有关临床检测的高品质研究将提供AUC-ROC的信息。区别阳性和阴性检测结果的阈值会影响灵敏度和特异度,但不会影响AUC-ROC。
- 益一需治数(英语:Number needed to treat,缩写作 NNT)/害一需治数(英语:Number needed to harm,缩写作 NNH):两者是以临床意义大小的方式,分别说明处置的疗效和安全性。NNT是指要有一患者得到想到的结果(如:癌症存活)时,所需治疗的人数。例如,如果治疗增加存活几率5%,那么需要治疗20个人,才能使另外1名患者因治疗而存活。这概念也可用在诊断检验上。例如,为了防止一名妇女死于乳腺癌,需要邀请1339位女性,年龄在50ー59岁之间,进行乳腺癌筛检十年[69],那么邀请参加乳腺癌筛检的NNT是1339。
临床试验的品质
编辑循证医学试图客观地评估临床研究的品质,严格评读研究人员在论文中报告的技术。
限制和批评
编辑虽然循证医学被视为临床诊疗的黄金标准,但仍有许多限制和批评[70][71]。各种针对EBM发表的批评,广为引用的分类系统有两种,包括斯特劳斯(Straus)和麦克亚利斯特(McAlister)的三分法(医学诊疗普遍存在限制,循证医学特有的限制,和对循证医学的误解[72])和柯恩(Cohen),斯塔夫里(Stavri)和赫许(Hersh)的五点分类(循证医学是医学的一种不良哲学基础,证据定义太狭隘,没有循证根据,应用于个别患者时实用性有限,减少医病关系的自主权[73])。
一些已发表的反对意见,无特别排序,包括:
- 循证医学的理论理想(纳入数个RCT的元分析和系统性评论可能回答每个狭小的临床问题,有数十万个这样的问题存在)面临限制,如:昂贵的研究(特别是RCT);因此,实际上,在可预见的未来,对循证的需求总是远远超过供给,人类最好依优先级分类应用稀缺的资源。
- 研究产生循证医学,如来自随机对照试验(RCT),可能无法符合所有的治疗情境[74]。研究倾向于关注特定族群,但个人可能与一般大众差异很大。由于某些族群在历史上一直未被充分研究(少数族裔和患有共病者),来自RCT的证据可能无法推广到这些人[75]。因此,应用循证到某群人,不应妨碍临床医师依个人经验决定如何治疗个别患者。一位作者提到“从临床研究中获得的知识,无法直接回答最适合身旁患者的主要临床问题”,并建议循证医学不应低估临床经验的价值[61]。另一位作者指出“应用循证医学等于整合个人临床专业知识,和来自系统性评论的最佳外部临床证据[76]。”
- 研究可能受偏误影响,包括:出版偏误和学术出版中的利益冲突。例如,研究若有业界资金赞助而产生的冲突,结论更可能偏向他们的产品[77][78]。
- RCT由进行到结果发表,有时间延滞[79]。
- 结果发表到结果能正确应用,有时间延滞[80]。
- 认知不足(缺乏新信息可代入的一个简易且稳固的心理框架)可能会阻碍循证医学的应用[81]。
- 价值观:虽然循证医学的原始定义纳入患者价值观,但在循证医学的训练中并未普遍强调价值观的重要性,这是当前研究的一个潜在问题[82][83][84]。
一个2018年研究,以〈为什么所有随机对照试验产生具偏误见的结果〉为题,评估10篇引用率最高的RCTs,认为试验面临广泛的偏误和限制,包括:试验只适合研究易于随机化的一小组问题,通常只能评估样本的平均治疗效果,将结果外推到其它情境时的限制,还有其它问题总结在研究中[70]。
临床的循证实践
编辑循证医学有个不断挑战,部分临床工作者不依循证诊疗。这种情况发生的部分原因是支持或反对当前治疗的证据结论不断变化,要了解每个变化并不可能[85]。例如,2003到2017年间,有数百种医学诊疗的循证结论改变,从激素替代疗法是否安全,到婴儿是否应该服用某些维生素,以及抗忧郁药对阿茲海默症是否有效[86]。即使证据明确反对治疗,通常需经过十年才会采用其他治疗[85]。在其他情况,可能需要等一个世代的医师退休或死亡,并由接受最新循证培训的医师取代后才有重大变化[85]。
医师和其他医疗服务提供者依无循证支持的方式治疗患者的另一个主因是这些医疗人员与所有其他人一样受到相同的认知偏误影响。他们可能会拒绝循证,因为对罕见但令人震惊的结果有着鲜明记忆(可得性偏差),例如患者在拒绝治疗后死亡[85]。他们可能会为了“做些什么”或解决患者的情感需求而过度治疗[85]。因患者的期望与推荐的循证间有落差,而担心发生医疗过失告诉[85]。也可能因治疗在学理上看似合理,而过度治疗或提供无效治疗[85]。
教育
编辑在医学教育的连续过程中,提供循证医学训练[87]。
柏林问卷和弗雷斯诺测试[88][89]是评估循证医学教育有效性的可信工具[90][91]。这些问卷已用于不同情境中[92][93]。
一篇纳入24个试验的坎贝尔系统性评论,评估电子学习能否改善循证健康照护的知识和应用。结果发现,与没有学习相比,电子学习可以改善循证健康照护的知识和技能,但不会改善态度和行为。比较电子学习与面对面学习,结果没有差异。结合电子学习与面对面学习(混合式学习),对循证知识、技能、态度和行为有积极影响[94]。与电子学习有关,医学院学生编辑维基百科,能提高他们的循证技能[95]。
参见
编辑参考文献
编辑- ^ 1.0 1.1 Evidence-Based Medicine Working Group. Evidence-based medicine. A new approach to teaching the practice of medicine (PDF). JAMA. November 1992, 268 (17): 2420–25 [2019-08-20]. PMID 1404801. doi:10.1001/jama.268.17.2420. (原始内容存档于2020-04-18).
- ^ Eddy DM. Practice Policies – Where Do They Come from?. Journal of the American Medical Association. 1990, 263 (9): 1265, 1269, 1272, 1275 [2019-08-20]. PMID 2304243. doi:10.1001/jama.263.9.1265. (原始内容存档于2020-04-18).
- ^ Li et. al. (2019) Ranking of Risks for Existing and New Building Works,Sustainability 2019, 11(10), 2863, https://www.mdpi.com/2071-1050/11/10/2863/htm (页面存档备份,存于互联网档案馆)
- ^ Brater DC, Daly WJ. Clinical pharmacology in the Middle Ages: principles that presage the 21st century. Clin. Pharmacol. Ther. May 2000, 67 (5): 447–50 See p. 449. PMID 10824622. doi:10.1067/mcp.2000.106465.
- ^ Daly WJ, Brater DC. Medieval contributions to the search for truth in clinical medicine. Perspect. Biol. Med. 2000, 43 (4): 530–40 See p. 536. PMID 11058989. doi:10.1353/pbm.2000.0037.
- ^ Poisson, Dulong; Larrey, Double. Statistical research on conditions caused by calculi by Doctor Civiale.. Int J Epidemiol. 2001, 30 (6): 1246–49 [1835]. PMID 11821317. doi:10.1093/ije/30.6.1246. (原始内容存档于2005-04-29).
- ^ Alvan R. Feinstein. Clinical Judgement. Williams & Wilkins. 1967.
- ^ Cochrane A.L. Effectiveness and Efficiency: Random Reflections on Health Services. Nuffield Provincial Hospitals Trust. 1972.
- ^ Wennberg J.E.; Gittelsohn A. Small Area Variations in Health Care Delivery. Science. 1973, 182 (4117): 1102–08. Bibcode:1973Sci...182.1102W. PMID 4750608. doi:10.1126/science.182.4117.1102.
- ^ Eddy, David M. 18 Probabilistic Reasoning in Clinical Medicine: Problems and Opportunities. Kahneman, D.; Slovic, P.; Tversky, A. (编). Judgment Under Uncertainty: Heuristics and Biases. Cambridge University Press. 1982: 249–67. ISBN 978-0-521-28414-1.
- ^ Eddy DMb. Clinical Policies and the Quality of Clinical Practice. New England Journal of Medicine. 1982, 307 (6): 343–47. PMID 7088099. doi:10.1056/nejm198208053070604.
- ^ 12.0 12.1 Eddy DM. Variations in Physician Practice The Role of Uncertainty. Health Affairs. 1984, 3 (2): 74–89. PMID 6469198. doi:10.1377/hlthaff.3.2.74.
- ^ 13.0 13.1 Eddy DM. The Quality of Medical Evidence: Implications for Quality of Care. Health Affairs. 1988, 7 (1): 19–32 [2019-08-20]. PMID 3360391. doi:10.1377/hlthaff.7.1.19. (原始内容存档于2020-02-09).
- ^ 14.0 14.1 Feinstein AR. Clinical Epidemiology: The Architecture of Clinical Research. 1985. ISBN 9780721613086.
- ^ 15.0 15.1 Sackett, Dave. Haynes, R. Brian , 编. Clinical Epidemiology: How to Do Clinical Practice Research. Lippincott Williams & Wilkins. 2006. ISBN 978-0-7817-4524-6.
- ^ Chassin MR, Kosecoff J, Solomon DH, Brook RH. How Coronary Angiography Is Used: Clinical Determinants of Appropriateness. JAMA. 1987, 258 (18): 2543–47 [2019-08-20]. PMID 3312657. doi:10.1001/jama.258.18.2543. (原始内容存档于2020-04-18).
- ^ Eddy DM. A Manual for Assessing Health Practices and Designing Practice Policies. American College of Physicians. 1992. ISBN 978-0943126180.
- ^ Committee to Advise the Public Health Service on Clinical Practice Guidelines, Institute of Medicine. Field, M.J.; Lohr, K.N. , 编. Clinical Practice Guidelines: Directions for a New Program. National Academy of Sciences Press. 1990: 32 [2019-08-20]. ISBN 978-0-309-07666-1. PMC 5310095 . PMID 25144032. doi:10.17226/1626. (原始内容存档于2015-04-02).
- ^ 19.0 19.1 Eddy DMb. Practice Policies: Guidelines for Methods. JAMA. 1990, 263 (13): 1839–41 [2019-08-20]. PMID 2313855. doi:10.1001/jama.263.13.1839. (原始内容存档于2020-04-18).
- ^ Eddy DM. Guidelines for Policy Statements. Journal of the American Medical Association. 1990, 263 (16): 2239–43. PMID 2319689. doi:10.1001/jama.1990.03440160101046.
- ^ Eddy DM. Clinical Decision Making: From Theory to Practice. A Collection of Essays. American Medical Association. 1996. ISBN 978-0763701437.
- ^ Howick, Jeremy H. The Philosophy of Evidence-based Medicine. Wiley. 2011-02-23: 15. ISBN 978-1-4443-4266-6.
- ^ 23.0 23.1 23.2 23.3 Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS. Evidence based medicine: what it is and what it isn't. BMJ. 1996, 312 (7023): 71–72. PMC 2349778 . PMID 8555924. doi:10.1136/bmj.312.7023.71.
- ^ Katz, David L. Clinical Epidemiology & Evidence-Based Medicine: Fundamental Principles of Clinical Reasoning & Research. SAGE. 2001. ISBN 978-0-7619-1939-1.
- ^ Grobbee, D.E.; Hoes, Arno W. Clinical Epidemiology: Principles, Methods, and Applications for Clinical Research. Jones & Bartlett Learning. 2009. ISBN 978-0-7637-5315-3.
- ^ Doi, S.A.R. Understanding evidence in health care: Using clinical epidemiology. South Yarra, VIC, Australia: Palgrave Macmillan. 2012. ISBN 978-1-4202-5669-7.
- ^ Rosenberg W, Donald A. Evidence-based Medicine: An approach to Clinical Problem Solving. BMJ. 1995, 310 (6987): 1122–26 [2019-08-20]. PMC 2549505 . PMID 7742682. doi:10.1136/bmj.310.6987.1122. (原始内容存档于2019-12-10).
- ^ Greenhalgh, Trisha. How to Read a Paper: The Basics of Evidence-Based Medicine (4th ed.). John Wiley & Sons. 2010: 1. ISBN 978-1-4443-9036-0.
- ^ Eddy DM. Practice Policies – Where Do They Come from?. Journal of the American Medical Association. 1990, 263 (9): 1265, 1269, 1272, 1275. PMID 2304243. doi:10.1001/jama.263.9.1265.
- ^ Greenhalgh, Trisha. The limits of evidence-based medicine. Respiratory Care. December 2001, 46 (12): 1435–40. PMID 11728302.
- ^ Eddy, DM. Evidence-based Medicine: a Unified Approach. Health Affairs. 2005, 24 (1): 9–17. PMID 15647211. doi:10.1377/hlthaff.24.1.9.
- ^ Eddy D. ACS report on the cancer-related health checkup. CA Cancer J Clin. 1980, 30 (4): 193–240. PMID 6774802. doi:10.3322/canjclin.30.4.194.
- ^ About the USPSTF. [August 21, 2014]. (原始内容存档于2014-08-15).
- ^ Rettig, R.A.; Jacobson, P.D.; Farquhar, C.M.; Aubry, W.M. False Hope : Bone Marrow Transplantation for Breast Cancer: Bone Marrow Transplantation for Breast Cancer. Oxford University Press. 2007: 183. ISBN 978-0-19-974824-2.
- ^ 35.0 35.1 Davino-Ramaya C, Krause LK, Robbins CW, Harris JS, Koster M, Chan W, Tom GI. Transparency matters: Kaiser Permanente's National Guideline Program methodological processes. Perm J. 2012, 16 (1): 55–62. PMC 3327114 . PMID 22529761. doi:10.7812/tpp/11-134.
- ^ Smith RJ. Where's the Wisdom: The Poverty of Medical Evidence. BMJ. 1991, 303 (6806): 798–99. PMC 1671173 . PMID 1932964. doi:10.1136/bmj.303.6806.798.
- ^ The Cochrane Collaboration. [August 21, 2014]. (原始内容存档于2018-01-30).
- ^ Agency for Health Care Policy and Research. [August 21, 2014]. (原始内容存档于2021-06-23).
- ^ National Guideline Clearinghouse. [August 21, 2014]. (原始内容存档于August 19, 2014).
- ^ National Institute for Health and Care Excellence. [August 21, 2014]. (原始内容存档于2006-10-03).
- ^ Ilic, D; Maloney, S. Methods of teaching medical trainees evidence-based medicine: a systematic review.. Medical Education. February 2014, 48 (2): 124–35. PMID 24528395. doi:10.1111/medu.12288.
- ^ Maggio, LA; Tannery, NH; Chen, HC; ten Cate, O; O'Brien, B. Evidence-based medicine training in undergraduate medical education: a review and critique of the literature published 2006-2011.. Academic Medicine. July 2013, 88 (7): 1022–8. PMID 23702528. doi:10.1097/ACM.0b013e3182951959.
- ^ Meats E1, Heneghan C, Crilly M, Glasziou P. Evidence-based medicine teaching in UK medical schools. Med Teach. April 2009, 31 (4): 332–37. PMID 19404893. doi:10.1080/01421590802572791.
- ^ UpToDate. [August 21, 2014]. (原始内容存档于2020-08-07).
- ^ Clinical Evidence. [August 21, 2014]. (原始内容存档于2008-08-20).
- ^ Gray, J. A. Muir. Evidence-based Health Care & Public Health. Churchill Livingstone. 2009. ISBN 9780443101236.
- ^ AAFP promotes acupuncture. Science-Based Medicine. 9 October 2018 [12 January 2019]. (原始内容存档于2021-08-13).
- ^ Cook DJ, Jaeschke R, Guyatt GH. Critical appraisal of therapeutic interventions in the intensive care unit: human monoclonal antibody treatment in sepsis. Journal Club of the Hamilton Regional Critical Care Group. J Intensive Care Med. 1992, 7 (6): 275–82. PMID 10147956. doi:10.1177/088506669200700601.
- ^ Dawes M, Summerskill W, Glasziou P, et al. Sicily statement on evidence-based practice. BMC Med Educ. January 2005, 5 (1): 1. PMC 544887 . PMID 15634359. doi:10.1186/1472-6920-5-1.
- ^ Richardson WS, Wilson MC, Nishikawa J, Hayward RS. The well-built clinical question: a key to evidence-based decisions. ACP J. Club. 1995, 123 (3): A12–13. PMID 7582737.
- ^ Rosenberg WM, Deeks J, Lusher A, Snowball R, Dooley G, Sackett D. Improving searching skills and evidence retrieval. J R Coll Physicians Lond. 1998, 32 (6): 557–63. PMID 9881313.
- ^ Doi, S.A.R. Understanding evidence in health care: Using clinical epidemiology. South Yarra, VIC, Australia: Palgrave Macmillan. 2012. ISBN 978-1-4202-5669-7.
- ^ Epling J, Smucny J, Patil A, Tudiver F. Teaching evidence-based medicine skills through a residency-developed guideline. Fam Med. October 2002, 34 (9): 646–48. PMID 12455246.
- ^ Ivers, N; Jamtvedt, G; Flottorp, S; Young, JM; Odgaard-Jensen, J; French, SD; O'Brien, MA; Johansen, M; Grimshaw, J; Oxman, AD. Audit and feedback: effects on professional practice and healthcare outcomes. The Cochrane Database of Systematic Reviews. 13 June 2012, 6 (6): CD000259. PMID 22696318. doi:10.1002/14651858.CD000259.pub3.
- ^ Tanjong-Ghogomu, E; Tugwell, P; Welch, V. Evidence-based medicine and the Cochrane Collaboration. Bulletin of the NYU Hospital for Joint Diseases. 2009, 67 (2): 198–205. PMID 19583554. (原始内容存档于2013-06-01).
- ^ El Dib RP, Atallah AN, Andriolo RB. Mapping the Cochrane evidence for decision making in health care. J Eval Clin Pract. August 2007, 13 (4): 689–92. PMID 17683315. doi:10.1111/j.1365-2753.2007.00886.x.
- ^ Ezzo J, Bausell B, Moerman DE, Berman B, Hadhazy V. Reviewing the reviews. How strong is the evidence? How clear are the conclusions?. Int J Technol Assess Health Care. 2001, 17 (4): 457–66. PMID 11758290.
- ^ Committee on the Use of Complementary and Alternative Medicine by the American Public. 5 State of Emerging Evidence on CAM: Cochrane Review Evidence for CAM. Complementary and Alternative Medicine in the United States. Washington DC: The National Academies Press. 2005: 135–36 [2019-08-20]. ISBN 978-0-309-09270-8. PMID 22379647. doi:10.17226/11182. (原始内容存档于2015-09-13).
- ^ Singh A, Hussain S, Najmi AK. Role of Cochrane Reviews in informing US private payers' policies. J Evid Based Med. 2017, 10 (4): 293–331. PMID 29193899. doi:10.1111/jebm.12278.
- ^ EBM: Levels of Evidence. Essential Evidence Plus. [2012-02-23]. (原始内容存档于2012-03-02).
- ^ 61.0 61.1 Tonelli MR. In defense of expert opinion. Acad Med. November 1999, 74 (11): 1187–92. PMID 10587679. doi:10.1097/00001888-199911000-00010.
- ^ U.S. Preventive Services Task Force. Guide to clinical preventive services: report of the U.S. Preventive Services Task Force. DIANE Publishing. August 1989: 24–. ISBN 978-1-56806-297-6.
- ^ OCEBM Levels of Evidence Working Group. The Oxford Levels of Evidence 2'. May 2016 [2019-08-20]. (原始内容存档于2013-12-05).
- ^ Paul, C.; Gallini, A.; Archier, E.; et al. Evidence-Based Recommendations on Topical Treatment and Phototherapy of Psoriasis: Systematic Review and Expert Opinion of a Panel of Dermatologists. Journal of the European Academy of Dermatology and Venereology. 2012, 26 (Suppl 3): 1–10. PMID 22512675. doi:10.1111/j.1468-3083.2012.04518.x.
- ^ GRADE working group. [2007-09-24]. (原始内容存档于2006-02-07).
- ^ 66.0 66.1 66.2 Balshem H, Helfand M, Schünemann HJ et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol. April 2011, 64 (4): 401–6. PMID 21208779. doi:10.1016/j.jclinepi.2010.07.015.
- ^ 67.0 67.1 67.2 Schünemann H, Brożek J, Oxman A (编). GRADE handbook for grading quality of evidence and strength of recommendation Version 3.2. 2009 [2016-03-01]. (原始内容存档于2016-03-05).
- ^ Sherman, M; Burak K; Maroun J; et al. Multidisciplinary Canadian Consensus Recommendations for the Management and Treatment of Hepatocellular Carcinoma'. Current Oncology. 2012, 18 (5): 228–40. PMC 3185900 . PMID 21980250. doi:10.3747/co.v18i5.952.
- ^ "Patient Compliance with statins" Bandolier Review 2004 Archive.is的存档,存档日期2015-05-12
- ^ 70.0 70.1 Krauss, Alexander. Why all randomised controlled trials produce biased results. Annals of Medicine. 2018, 50 (4): 312–322. PMID 29616838. doi:10.1080/07853890.2018.1453233.
- ^ Timmermans S, Mauck A. The promises and pitfalls of evidence-based medicine. Health Aff (Millwood). 2005, 24 (1): 18–28. PMID 15647212. doi:10.1377/hlthaff.24.1.18.
- ^ Straus, SE; McAlister, FA. Evidence-based medicine: a commentary on common criticisms (PDF). Canadian Medical Association Journal. 3 October 2000, 163 (7): 837–41 [2019-08-20]. PMC 80509 . PMID 11033714. (原始内容 (PDF)存档于2012-01-14).
- ^ Cohen, AM; Stavri, PZ; Hersh, WR. A categorization and analysis of the criticisms of Evidence-Based Medicine (PDF). International Journal of Medical Informatics. February 2004, 73 (1): 35–43 [2019-08-20]. PMID 15036077. doi:10.1016/j.ijmedinf.2003.11.002. (原始内容 (PDF)存档于2016-10-18).
- ^ Upshur RE, VanDenKerkhof EG, Goel V. Meaning and measurement: an inclusive model of evidence in health care. J Eval Clin Pract. May 2001, 7 (2): 91–96. ISSN 1356-1294. PMID 11489034. doi:10.1046/j.1365-2753.2001.00279.x.
- ^ Rogers WA. Evidence based medicine and justice: a framework for looking at the impact of EBM upon vulnerable or disadvantaged groups. J Med Ethics. April 2004, 30 (2): 141–45 [2019-08-20]. PMC 1733835 . PMID 15082806. doi:10.1136/jme.2003.007062. (原始内容存档于2022-03-09).
- ^ Sackett, DL; Rosenberg, WM; Gray, JA; Haynes, RB; Richardson, WS. Evidence based medicine: what it is and what it isn't. BMJ. January 1996, 312 (7023): 71–72. PMC 2349778 . PMID 8555924. doi:10.1136/bmj.312.7023.71.
- ^ Every-Palmer S, Howick J. How evidence‐based medicine is failing due to biased trials and selective publication. Journal of Evaluation in Clinical Practice. May 2014, 20 (6): 908–14. PMID 24819404. doi:10.1111/jep.12147.
- ^ Friedman LS, Richter ED. Relationship Between Conflicts of Interest and Research Results. J Gen Intern Med. January 2004, 19 (1): 51–56. PMC 1494677 . PMID 14748860. doi:10.1111/j.1525-1497.2004.30617.x.
- ^ Yitschaky O, Yitschaky M, Zadik Y. Case report on trial: Do you, Doctor, swear to tell the truth, the whole truth and nothing but the truth? (PDF). J Med Case Reports. May 2011, 5 (1): 179 [2019-08-20]. PMC 3113995 . PMID 21569508. doi:10.1186/1752-1947-5-179. (原始内容存档 (PDF)于2016-03-03).
- ^ Knowledge Transfer in the ED: How to Get Evidence Used. Best Evidence Healthcare Blog. [8 October 2013]. (原始内容存档于8 October 2013).
- ^ Mariotto, A. Hypocognition and evidence-based medicine. Internal Medicine Journal. 2010, 40 (1): 80–82. PMID 20561370. doi:10.1111/j.1445-5994.2009.02086.x.
- ^ Yamada, Seiji; Slingsby, Brian Taylor; Inada, Megan K.; Derauf, David. Evidence-based public health: a critical perspective. Journal of Public Health. 2008-06-01, 16 (3): 169–172. ISSN 0943-1853. doi:10.1007/s10389-007-0156-7 (英语).
- ^ Kelly, M; Heath, I; Howick, J; Greenhalgh, T. The importance of values in evidence-based medicine. BMC Medical Ethics. 2015, 16 (69): 69. PMC 4603687 . PMID 26459219. doi:10.1186/s12910-015-0063-3.
- ^ Fulford, KWM; Peile, H; Carroll, H. Essential Values-Based Practice. March 2012 [2019-08-20]. ISBN 9780521530255. (原始内容存档于2017-09-12).
- ^ 85.0 85.1 85.2 85.3 85.4 85.5 85.6 Epstein, David. When Evidence Says No, But Doctors Say Yes. ProPublica. 2017-02-22 [2017-02-24]. (原始内容存档于2022-06-24).
- ^ Herrera-Perez, Diana; Haslam, Alyson; Crain, Tyler; Gill, Jennifer; Livingston, Catherine; Kaestner, Victoria; Hayes, Michael; Morgan, Dan; Cifu, Adam S. A comprehensive review of randomized clinical trials in three medical journals reveals 396 medical reversals. eLife. 2019-06-11, 8: e45183. PMC 6559784 . PMID 31182188. doi:10.7554/eLife.45183.
- ^ Dawes, M; Summerskill, W; Glasziou, P; Cartabellotta, A; Martin, J; Hopayian, K; Porzsolt, F; Burls, A; Osborne, J; Second International Conference of Evidence-Based Health Care Teachers and, Developers. Sicily statement on evidence-based practice.. BMC Medical Education. 5 January 2005, 5 (1): 1. PMID 15634359. doi:10.1186/1472-6920-5-1.
- ^ Fritsche, L.; Greenhalgh, T.; Falck-Ytter, Y.; Neumayer, H.H.; Kunz, R. Do short courses in evidence based medicine improve knowledge and skills? Validation of Berlin questionnaire and before and after study of courses in evidence based medicine. BMJ (Clinical Research Ed.). 2002, 325 (7376): 1338–41. PMC 137813 . PMID 12468485. doi:10.1136/bmj.325.7376.1338.
- ^ Ramos, K.D.; Schafer, S.; Tracz, S.M. Validation of the Fresno test of competence in evidence based medicine.. BMJ. 2003, 326 (7384): 319–21. PMC 143529 . PMID 12574047. doi:10.1136/bmj.326.7384.319.
Fresno test (页面存档备份,存于互联网档案馆) - ^ Shaneyfelt, T.; Baum, K.D.; Bell, D.; Feldstein, D.; Houston, TK; Kaatz, S; Whelan, C.; Green, M. Instruments for evaluating education in evidence-based practice: a systematic review.. JAMA. 2006, 296 (9): 1116–27. PMID 16954491. doi:10.1001/jama.296.9.1116.
- ^ Straus SE, Green ML, Bell DS, Badgett R, Davis D, Gerrity M, et al. Evaluating the teaching of evidence based medicine: conceptual framework.. BMJ. 2004, 329 (7473): 1029–32 [2019-08-20]. PMC 524561 . PMID 15514352. doi:10.1136/bmj.329.7473.1029. (原始内容存档于2021-05-06).
- ^ Kunz, R.; Wegscheider, K.; Fritsche, L.; Schünemann, H.J.; Moyer, V.; Miller, D.; Boluyt, L.; Falck-Ytter, Y.; Griffiths, P.; Bucher, H.C.; Timmer, A.; Meyerrose, J; Witt, K.; Dawes; Greenhalgh, T.; Guyatt, G.H. Determinants of knowledge gain in evidence-based medicine short courses: an international assessment. Open Med. 2010, 4 (1): e3–e10. PMC 3116678 . PMID 21686291.
- ^ West CP, Jaeger TM, McDonald FS. Extended evaluation of a longitudinal medical school evidence-based medicine curriculum.. J Gen Intern Med. 2011, 26 (6): 611–15. PMC 3101983 . PMID 21286836. doi:10.1007/s11606-011-1642-8.
- ^ Rohwer, Anke; Motaze, Nkengafac Villyen; Rehfuess, Eva; Young, Taryn. E-learning of evidence-based health care (EBHC) to increase EBHC competencies in healthcare professionals: a systematic review. Campbell Systematic Reviews. 2017, 4. doi:10.4073/csr.2017.4.
- ^ Azzam, A.; Bresler, D.; Leon, A.; Maggio, L.; Whitaker, E.; Heilman, J.; Orlowitz, J.; Swisher, V.; Rasberry, L.; Otoide, K.; Trotter, F.; Ross, W.; McCue, J.D. Why Medical Schools Should Embrace Wikipedia: Final-Year Medical Student Contributions to Wikipedia Articles for Academic Credit at One School. Academic Medicine. February 2017, 92 (2): 194–200. PMC 5265689 . PMID 27627633. doi:10.1097/ACM.0000000000001381.
参考书目
编辑- Doi, S.A.R. Understanding evidence in health care: Using clinical epidemiology. South Yarra, VIC, Australia: Palgrave Macmillan. 2012. ISBN 978-1-4202-5669-7.
- Grobbee, D.E.; Hoes, Arno W. Clinical Epidemiology: Principles, Methods, and Applications for Clinical Research. Jones & Bartlett Learning. 2009. ISBN 978-0-7637-5315-3.
- Howick, Jeremy H. The Philosophy of Evidence-based Medicine. Wiley. 2011. ISBN 978-1-4051-9667-3.
- Katz, David L. Clinical Epidemiology & Evidence-Based Medicine: Fundamental Principles of Clinical Reasoning & Research. SAGE. 2001. ISBN 978-0-7619-1939-1.
- Stegenga, Jacob. Care and Cure: An Introduction To Philosophy of Medicine. University of Chicago Press. 2018 [2019-08-20]. (原始内容存档于2022-01-15).