4.4结局评估
结局评估是指远期效果评估,是评价伤害预防与控制项目的最终目的是否实现。结局评估又可以分为两个方面;一个是效果评价;一个是效益评价。
(1)效果评估是指伤害项目干预对目标人群与健康状况相关的指标的评价,如伤害的发生率和死亡率等。
(2)效益评估是指伤害项目干预改变人群伤害发生率和死亡率等与健康直接相关的指标所带来的远期社会效益和经济效益。例如劳动生产率等。
5评估的基本要素
开始实施项目的时间
形成评估 (项目发展阶段) 总结评估 (项目实施阶段)
过程评估
效果评估
结局评估
任何评估,无论是形成评估、过程评估、效果评估和结局评估都包含以下一些基本因素:
1.有目标:没有适当的、明确定义的期望结果评估就无法开展。评估人员需要表达清晰的目标和评估项目的成效。
2.明确需要收集数据:确定要收集什么样的数据,也就是要明确用什么来度量目标。
3.确定方法:需要有一个评估研究设计,这样的评估是有效可靠的。
4.明确评价工具:设计评估工具,并进行予试验。评估工具可以是一本简单的记录册,也可以使复杂的调查和访谈。
5.数据收集:数据收集就是到项目现场收集的过程。
6.数据处理:数据处理是将收集的数据整理归类,无论是定性还是定量的资料数据,通常要输入电脑储存,为下步分析做好准备。
7.数据分析:根据评估的目的要求,运用统计学的技术分析获取的数据,判断是否项目前后存在差异,并进行显著性检验。
8.撰写报告:就是把评估结果编辑成文的过程。很少有评估结果显示项目完全成功和失败。从某种程度上来讲,项目都有成功的一面,也有失败的一面。重要的是,无论是成功还是失败,只要对结果进行恰当的分析都能够从中吸取经验教训。而这些经验教训可以为完善正在进行的项目或是计划新的项目提供非常有价值的参考。
6项目评估的方法
通常,一个好的评价需要有一个好的评估计划,有明确的评估方法;
1.针对伤害预防与干预项目,制定特定的、可以测量的、有时间限制的项目目标和目的。
2.策划为了实现项目目标和目的,具有可操作性的一系列项目的活动。
3.列出需要回答的问题清单,主要是针对项目的形成评估,过程评估,效果评估和结局评估。
4.列出实施项目评估所需要的资源清单,可以获得的现有资源进行比较。
5.根据可以使用的资源和所允许的时间长度情况确定评估的优先顺序。
6.确定负责评估工作的人选。
7.根据评估问题确定的评估方法。
8.列出可以提供数据的资源和渠道,设计数据收集的表格和制定数据收集标准与规范。
9.制定评估日程表。
10.形成评估资料整理。
11.收集基础数据。
12.数据分析与解释。
13.提供信息反馈,进行项目改进。
14.及时交流信息与结果,不管结果是正向还是负向。
7安全社区评估的步骤
一般来说,项目评估由提出关注的问题、确定评估者、确定评估标准、收集和分析资料、报告结果五个步骤组成。
7.1提出关注问题
(1)确定利益相关者
利益相关者是指与项目设计、实施与效果有一定类型的机构、组织和人群等。他们的期望和态度对项目效果的扩展等都有一定的影响。项目的主要利益相关者可包括;有关职能部门文明办、工会、卫生部门环境部门、企管部门、财务部门、教育部门、社区等。
(2)明确不同的利益相关者关注的问题
对于同一个项目,不同的利益相关者所关注的问题是不同的,有时甚至是相反的。评估者必须首先明确他们对评估性研究结果的问题,从而确定谁是最重要的利益相关者,根据其主要的期望点来设计评估方案。
7.2确定谁来进行项目评估
评估工作既可以由实施安全社区项目的内部人员来做,也可以由外部的专家来做。两者各有优缺点。由项目内部人员进行评估的最大好处是:他们对项目比较熟悉。较短时间能完成评估,能提高和改进项目实施的质量。如为了向投资者报告项目的结果,可采用外部评估效果则较好。如果从效果角度讲;采用内外结合的方法,并考虑吸收有代表居民共同参与最佳。
7.3确定项目的评估标准
1.确立项目的评估目标
在明确主要的利益相关及期望的基础上,评估者就4确立项目的评估目标。这个目标既包括总目标,又包括具体目标。总目标是总体上述项目工作应该达到的目的,能够说明总体的要求和大致的方向。具体目标是总体目标分解到各个主要环节上的目标,是对总目标的具体说明,是为实现总目标所要达到的具体结果一般要求是明确的、具体的、可测量的指标。
2.确定评估需要的条件
在安全是项目评估时,需要在总体上对项目评估提出如下问题;
(1)那种干预策略最有效?
策略是为了实现计划目标而采取的一系列措施的原则,在制定策略时应分析安全问题发生的原因,并根据可能发生的原因制定项目实施的策略。对于每一个原因都有可能提出多种达到目标的策略,但在确定实现目标的策略时,应考虑社区的资源和条件,使所提出和制定的策略既能够符合社区的基本情况,又能够实现计划目标。
(2)最有效的干预措施是什么?
确定项目干预措施是安全社区建设项目的关键。措施是在实现目标策略的指导下所制定的一系列为达到目标而进行的活动。活动计划要注明具体的活动时间、对象、人数和地点,应选择客观、可测量的指标来反应活动的效果在确定干预措施时,应考虑社区的人力、物力和财力等问题,也应注重成本效益的问题,选择最佳方案,使有效的资源发挥最大的效能。
(3)最适宜的人群是什么?
一个项目要根据需求等情况,选择最为适宜的人群作为项目的干预对象,人群的覆盖率尽量最大化,这样才能充分发挥项目的效果和效益。
(4)干预是否按计划实施?
原则上,项目计划是项目实施的指南,任何项目活动都必须严格按照预先确定的计划执行,否则就可能项目失去方向,目标难以实现。
(5)干预措施是否有效?
干预措施在施加于某人群后,紧接着的问题就是搞清楚该项目措施对有效性。是不是符合项目的管理原则,是不是项目发挥了较大的效能。
(6)干预措施的费用如何?
我们期望的良好干预措施是以较小的费用取得较大的成效。所以在项目评估时,要考虑效能与费用的问题。
(7)是否达到期望目标?
将项目的效果与原先制定的目标进行比较,以判断目标的完成程度,来判断目标的效果。
(8)项目设计是否紧扣目标?
项目的目标是要解决存在的主要安全问题,它是指导项目的设计、实施和评估的指南。只有在具体要明确目标的前提下,才能进行下面的设计,项目的实施必须紧紧围绕目标,否则项目结束后就无法保证目标的实现。
(9)项目实施条件是否合适?
明确实施项目的环境条件、资源等因素是否具备。
(10)干预的效果是否是项目期望的?
有时项目会产生多种效果,有的效果往往是很大的,但是从项目管理和评估的角度来看,一个项目是否成功,最关键的是项目实施效果确实达到了其所期望的效果,即项目计划的目标。
(11)是否为最有效率的项目?
一个好的项目,不仅需要具有良好的效果和效益,同时也应该具备良好的效率,即用最小的投入和时间来获得期望的效果和效益。
8持续改进闭合机制
年度伤害预防项目效果评估,必须在原有的基本情况调查急促会上,进行量化的对比,并增加政策及法规法律的变化情况和居民基本需求调查,提出下一年度的伤害预防目标及存在问题和建议作为下一年的基本情况调查报告,使策划和干预目标工作形成一个诊断-- 计划--实施--评估(诊断)的持续改进的闭合机制,提升安全社区建设水平。