混合方法评估使设计更加严谨

海蒂·雷诺兹博士著。2016年美国评估协会(AEA)年会的一篇博客文章讨论了混合方法评估。

海蒂·雷诺兹在2016年评估会上发言。
海蒂·雷诺兹在2016年评估会上发言。
海蒂·雷诺兹博士,MEASURE评估中心的评估主任

混合方法是一种结合多种数据源和数据类型的评估方法。虽然数据通常不是完全混合的(就像在同一个数据库中一样),但分析和解释是协调的,从而产生整体大于部分的结果。不熟悉这种方法的人可能会认为混合方法是在实验或准实验的定量前和定量后研究设计中添加定性成分。然而,我参加的本周在亚特兰大举行的美国评估协会(AEA)年会上的会议表明,它远不止于此。

混合方法可以提高在复杂情况下操作的干预措施的评价设计的严谨性,例如,在这些情况下,确定比较群体具有挑战性,弱势群体被隐藏在家庭调查之外,以及干预措施,如旨在加强卫生信息系统的干预措施,尚未成为严格评价的主题。

采用多种方法可以弥补单一方法可能会遗漏的认识空白。例如,有多个受访者和仔细抽样的定量调查可以精确地测量某些指标。分析方法可以在设计中不可能的地方构建反事实。基于理论的方法使用程序设计来帮助理解影响结果的程序特征。基于案例的方法深入挖掘,从有限数量的案例中提取学习。参与式方法从项目参与者、实现者、个人和可能使用结果的团体中抽取。

随着更多混合方法的使用,评估人员对这些方法的认识和经验也在增加,这在很大程度上归功于我们工作中系统思维和复杂性意识的倡导者。这些系统思维方法包括“复杂感知”方法、应用和经验,例如“最显著变化”方法,该方法在MEASURE评估组织的两次会议上提出,尤其是杰西卡·费林格。复杂感知方法的接受和使用提供了更多的工具来评估具有长因果路径、多个程序组件、非线性程序效应和程序变化的复杂干预措施。它还使我们能够衡量意想不到的结果、意外的发现或上下文因素。

2016年AEA的主题是“评估+设计”。因此,评价通知程序设计和设计通知评价方法的概念被广泛讨论。许多混合方法都与此一致。它们涉及评估者、程序设计者和结果使用者在评估和程序设计、实施、结果传播和解释过程中的更多讨论。评估的实践已经脱离了评估者在程序设计和实施之外的实践。虽然评估人员总是希望在设计、实现和解释时保持客观性,但这不再意味着从字面上独立于程序。

了下: 评价
邮件 LinkedIn 推特 脸谱网
分享
Baidu
map