影响评估在哪里?

作者:海蒂·雷诺兹博士,希恩·柯蒂斯博士。没有必要限制影响评估,而是要做出更明智的决定,即什么时候投资于它们是获得关于针对特定目标人群投资项目价值的有效、可用信息的最佳方式。

作者:Heidi Reynolds博士,评估主任,和Sian Curtis博士,高级评估顾问,MEASURE评估

2013年,医学研究所对美国总统艾滋病紧急救援计划(PEPFAR)进行了评估,强调需要进行“战略性和协调研究”,以指导项目决策,提高项目投资的有效性和影响(国际移民组织,2013年)。为响应国际移民组织的报告和美国政府问责局(GAO, 2012)的建议,总统防治艾滋病紧急救援计划发起了监测、评估和报告(MER)倡议,旨在加强数据收集和使用,以指导决策。MER包括发布11项PEPFAR评估实践标准。从那时起,遵守这些标准的报告有所改善(PEPFAR, 2017)。

在2017年3月21日发表的一份声明中,总统防治艾滋病紧急救援计划不再支持影响评估,理由是成本、追踪困难以及将结果转化为项目改进的挑战。声明说,先前批准的、正在进行的需要额外资金的工业项目将逐案审查,以确定继续提供支持。它说,总统防治艾滋病紧急救援计划2017年国家业务计划(COP)指南表明没有新的IE提交。beplay体育app官网下载

这一决定将改变对艾滋病毒项目评估的投资进程,至少在不久的将来是这样。这一决定对项目的潜在影响值得仔细考虑。

在资金受到限制或减少的情况下,审查工业工程师的价值是合理的。ie很难实现,成本高,而且需要时间。在全球卫生工作的许多情况下,我们面临着确定适当的比较群体、项目启动的延误或导致延误和成本增加的自然或政治事件的挑战(Thomas, Curtis, & Smith, 2011;Skiles, Hattori & Curtis, 2014)。此外,工业工业与其他数据投资竞争资金,例如用于监测覆盖范围和供应的常规卫生信息系统、用于监测疾病爆发的监测系统以及用于监测健康结果的调查等。

影响评估提供了科学严谨的评估,“通过将实际影响与没有干预的情况进行比较,来衡量可归因于既定干预的结果变化……”[并]控制可能导致观察到的变化的干预措施以外的因素”(PEPFAR, 2015)。即使在IE环境中,也有许多方法可以在决策者需要信息时提供信息。项目使用基线和中线数据来设定目标,完善项目战略,并了解行为和健康状况的流行情况(例如,艾滋病毒流行情况)。许多工业工程师采用混合方法:例如,结合定量和定性数据——后者对评估周期中不同阶段的项目特别有帮助。其他方法,如将过程评价集成到IE中,可以及时提供关于规划实施、覆盖、质量和影响机制的证据。

我们完全支持使用IEs以外的评估方法,这取决于信息需求和干预的成熟度。然而,对IEs的分类限制将对PEFPAR产生影响,特别是当干预措施在一个人群中很少或没有有效证据,或者干预措施需要一段时间才能在人群水平上实现效果时。

如果低效的干预措施继续实施,或者相反,如果过早停止本可证明有效的干预措施,不实施工业干预最终可能代价更大。优先投资于其他收集信息的方法不一定足以取代工业工程师提供的那种证据。例如,基于人群的艾滋病毒评估等调查的数据对干预措施的归属有限。此外,样本量——尤其是在次国家层面——可能不足以在短期内显示指标的统计差异。

也就是说,IE以外的设计可以得出程序和结果之间合理关联的严格结果,而不是因果归因。例如,在乌克兰的一项研究中,美国国际开发署和pepfar资助测量评价正在使用混合方法(医疗设施调查、提供者访谈和患者图表提取)研究提供社会支持服务以提高结核病治疗依从性和改善结核病和艾滋病毒服务的整合对一系列结核病和艾滋病毒治疗结果的影响(MEASURE评估,2015年)。与遏制疟疾监测和评估参考小组成员合作,并在总统疟疾倡议(PMI)的支持下,MEASURE评估使用了可行性研究设计和多个现有数据来源(如人口与健康调查[DHS]和特定国家的调查和数据集)来评估疟疾干预措施与儿童死亡率之间的可能联系(死亡率工作组,2014年)。

在我们看来,开展IE的决定不应由全面禁止来决定,而应取决于对问题、所产生的信息的价值及其成本的评估,与有效性存疑的项目持续存在时对健康和效率造成的成本进行比较。与此同时,我们希望PEPFAR和其他支持项目评估的组织将优先测试新方法和二手数据来源(例如,MEASURE evaluation在美国国际开发署坦桑尼亚特派团的支持下正在测试的综合控制分析),以便我们找到成本更低的方法,及时收集有关项目有效性的信息。

我们所需要的不是限制工业项目,而是做出更明智的决定,即什么时候投资于工业项目是获得针对特定目标人群投资项目价值的有效、可用信息的最佳方式。

转载自评估的博客

参考文献

美国政府问责局(GAO),美国总统艾滋病紧急救援计划。(2012)。机构可以提高评估质量、规划和传播,GAO-12-673, 2012年5月31日。从检索http://www.gao.gov/products/GAO-12-673

测量评估。(2015)。在乌克兰加强结核病控制。2014年乌克兰影响评估基线调查。北卡罗来纳州教堂山:MEASURE评估;2015年,北卡罗来纳大学。

减少疟疾监测和评价参考小组死亡率工作队。(2014)。评估国家疟疾控制规划在高流行县的影响指南。教堂山,北卡罗来纳州:测量评估,北卡罗来纳大学。

美国总统艾滋病紧急救援计划(PEPFAR)。(2017)。向国会提交2017年度报告。华盛顿特区:总统防治艾滋病紧急救援计划。从检索https://www.pepfar.gov/documents/organization/267809.pdf

美国总统艾滋病紧急救援计划(PEPFAR)。(2015)。实践评估标准,2.0。华盛顿特区:PEFPAR。从检索https://www.pepfar.gov/documents/organization/247074.pdf

斯科尔斯,M. P.,服部,A.,柯蒂斯,S. L.(2014)。大规模公共卫生干预的影响评价:来自实地的经验。教堂山,北卡罗来纳州:测量评估,北卡罗来纳大学。从检索//www.veresfitness.com/resources/publications/wp-14-157

托马斯,J. C.,柯蒂斯,S.和史密斯,J.(2011)。实施科学的更广泛的背景[信]。获得性免疫缺陷综合征杂志, 58: e19−21。

了下: 监控 监测、评估 评价 影响评估
邮件 LinkedIn 推特 脸谱网
分享
Baidu
map