课程目录  |  本章目录

下一页

模块D > 数据源

 

数据源

如何衡量指标？

在决定如何测量指标时，先来考虑以下问题：

  • 哪些数据源能够给该指标提供证据？
  • 指标是针对目标群体的哪一部分的？
  • 何时是收集数据的时机 （项目之前还是之后？项目期中每一年？）

 

数据源

数据源指能反映目标群体的变化的工具、文档、信息的所在地，包括以下几类：

  • 轶事/趣闻
  • 问卷调查/反馈表
  • 观察/评估报告
  • 参与者项目
  • 其他机构的记录或测试信息

轶事/趣闻

  • 适用于 态度 ，尽管你可能只听到项目中比较快乐的人提供轶事/趣闻
  • 最不适用于 技能，因为人们倾向于谈论自己所擅长的
  • 适用于收集不是你预期的、却是项目产生的成果
  • 别人的话语可以被引用作为证据

问卷调查/反馈表

  • 问卷调查是主观汇报，能够用来证明对技能的信心，或是对某一主题的兴趣，但不是技能水平 或行为的客观测量
  • 最适用于态度 的测量，因为调查问卷能包含量化的等级量表
  • 不适用于行为 的测量（取决于项目参加者发生项目经历和评估调查开展之间的时间长短），最不适用于技能 的测量
  • 适用于你能够事先预测的重要成果
  •   å¦‚果用于评估态度 等适合用问卷调查来衡量的成果，寻找测量你感兴趣的成果的由专家设计的标准化问卷。这样可以节省时间，但部分问卷可能需要调整

行为观察或测评

  • 用观察的方法，专家或第三方专业机构观察项目参加者的行为— 大多在项目期间—而且能客观地记录项目参加者哪些技能 或行为 发生了变化。专业的测评使用的数据源包括诸如老师对学生行为的记录，成长资料袋评价等
  • 因为观察和评分表是第三方提供的客观评估，所以最适用于技能和行为
  • 不适用于态度

参与者项目

  • 最适用于 技能 和一些行为
  • 因为不人性化，最不适用于态度
  • 例子：参加鸟类识别研讨会的学员制作了区别鸟儿的小贴士表，表明他们已经把鸟类特征的知识内化，能够清楚地说出这些特征

 

小贴士

利用参与者的项目，学生和参加者的技能能够通过使用评估准则表来评价技能水平。建立一个评估准则表的6步骤为：

1.写出学生/参加者的学习成果；2.确定构成学习成果的指标；3.为每个指标确定水平等级；4.为每个水平等级指定具体的分值；5.描述每个水平等级的标准；6.建立整套评估准则表

评估准则表的例子：

农作物和蔬菜种植技术小读本项目的评估准则表包含如下学习成果： （1）学生展示信息能力的提高；（2）老师将信息组织为有用的数据库/课本；又如：初中研究性学习过程评估准则；以及信息素养量化评分体系。

 

状态观察或评测

  • 适用于状态 或生活条件。具有专业经验的第三方专业机构能够提供观察或评测结果，准确地反映出我们感兴趣的参加者的状态或生活条件，如阅读分数、考试成绩、毕业率、上学率、就业比率等。
  •  é€‚用于 知识
  • 最不适用于 行为 å’Œ 态度
  •  è®¸å¤šé¡¹ç›®æ—¨åœ¨æ”¹è¿›æŸä¸ªå·²æœ‰çš„但是数值不尽人意的指标，如阅读分数、考试成绩、毕业率、上学率、就业比率等。使用这些已有的指标数据节省资金，但是产生这些数据的机构和项目的个人参加者需要协作，使得这些数据可以为本项目所用。请注意，证明状态或生活条件的改变是由你的项目导致的是很难的。你的项目，如果成功的话，可能只对参加者的分数提高有很小作用。

 

小贴士

完成你自己项目的逻辑计划模型能使你学到很多。请记得，你不仅有指导模块可以参考，案例部分的真实案例展示也能帮你掌握理念，并学会应用这些理念。当你向WiKi讨论页面提交了逻辑计划模型，就会得到反馈和建议。请记住你的评估要有逻辑性并做到诚实，但是我们也不会用可公开发表的研究结果这样的标准来要求你。你若需要不同形式评估的深度指导，可以点击模块D的“资源“一节寻求参考。

 

小测试

对每一种成果类型，你能判断每一种数据源对其评估的有效性吗？（每种数据源的有效性用好/中/差来评价）

能力/知识/短期或中期行为：
行为观察或评测
项目工作成果
调查问卷/反馈表
轶事/趣闻
状态观察或评测

态度 (短期):
调查问卷/反馈表

轶事/趣闻

状态观察或评测

行为观察或评测

项目工作成果

状态/生活条件（长期）：

状态观察或评测

调查问卷/反馈表

轶事/趣闻

行为观察或评测

项目工作成果

 

解答

 

 

 

数据：使用什么数据对评估是有效的？

你对项目情况的常识和了解就能够建议使用什么数据。上文给出了几种最常用的数据源。请注意，基于成果的计划和评估不要求正规研究，尽管一些项目希望请专家进行评估（点击左边“资源”一节 ，可以获得更多参考信息）。

上述5种数据源并没有优劣之分，使用哪种数据源取决于要评估什么。

 


Springfield图书馆案例中，采用以下指标来标志着孩子们培养起阅读习惯：

#和%的Springfield学生在图书馆暑期阅读项目中，每天至少有一个小时进行娱乐性独立阅读。

轶事/趣闻：

调查问卷：

参与者项目：

机构记录：

 

West Dakota案例中，一项指标用来标志West Dakota居民认为公共图书馆为他们喜欢的信息资源：

# 和 % 的West Dakota居民说他们可能/非常可能将图书馆信息资源作为前三名最佳医疗健康类信息源之一。

轶事/趣闻：

调查问卷：

参与者项目：

机构记录：

 

以下指标用来说明童子军女孩们的鸟类识别技能：

# 和 % 的童子军女孩在野外考察中至少能够认得5种当地鸟类。

轶事/趣闻：

调查问卷：

参与者项目:

机构记录：


以下指标用来说明4-8年级教师-项目参加者-展示了用探究性教学方法来教授生物多样性的能力：

# 和% 的教师实现了完整的自然科学课程的课堂教学。

轶事/趣闻：

调查问卷：

参与者项目：

机构记录：
 

 

解答

 

 

 

深入探究

常用的需求分析与评估数据源矩阵 

工具

目的

要求

优势

劣势

调查问卷

从大量参与者收集标准化数据

设计调查问卷，要有口头的或者书面的指导语；

如果无法当面监督回收，则需要后续联系以增加回收率

调研形式多样，可使用纸质问卷、可扫描表格、基于计算机的培训（CBT）中的嵌入式调查、电子邮件，或是在内部网或因特网进行调查都可；

多样化的回应方式（Likert型的多级量表，多项选择，开放式）。提问可以是直接或间接，一般或特定。易于实施，便于管理。

如果无法当面发放和回收问卷，被调查者如有疑问，也无从获得帮助。被调查者可能选择不止一种回应或者给出无效回答。

开放性问题的回答可能语法不正确或含义模糊。被调查者可能漏掉题目；如果缺乏监督，回收率可能很低。

对知识的测评

测评项目参加者在培训中、工作场所或其它环境中获悉的知识

设计测评；评估必须保证内容的有效性和可靠性；在预评估和后评估中必须使用精确的等效试验

调研形式多样，可使用纸质问卷、可扫描表格、基于计算机的培训（CBT）的嵌入式调查、电子邮件，或是在内部网或因特网进行调查都可；预评估和后评估易于实施

如果在预评估中使用了测验，参加者在后评估的测验中可能因为对题目熟悉而获得较高分数；一些参加者可能会因考试焦虑而不能正常发挥

对技能应用表现的评估

评估参加者在培训中、在工作场所或其它环境中获得的技能的应用情况

设计测评（检查清单，评分表）；有待执行的任务或有待应用的能力必须明确；对技能应用的评估标准必须具体而实际；评估必须保证内容的有效性和可靠性

可以使用纸质、可扫描表格或互动多媒体形式的嵌入式测试；应用表现可由指导老师、参加者，同事，小组或管理者作出评估；提供直接证据或学习应用；评估可以是介入的，也可以是非介入的。

潜在评估者的偏见；课堂上可能没有评估所需设备和工具；如果介入式评估，观察和评分可能会引起被观察者的焦虑或紧张从而影响表现；可能没有时间评估所有关键的技能；由于时间的限制，进行预测验可能不切实际

结构化观察

观察一项活动并记录观察结果

 设计检查清单或评分表；为观察者提供显式的指导语；观察者必须客观；在观察过程中观察者不能作出指示，回答问题，或给出非语言性暗示；一致地使用检查清单；需计算观察者意见契合的百分比

所关注的目标（如学习者、设计者、教师、工作样本等）可以由资深培训师、主题问题专家、项目设计者/开发者、评估专家、主管或经理观察。

观察可以是介入式的，也可以是非介入式的（非介入的观察可以是自然式的）

观察者可能的偏见；如果观察是介入式的，对行为的观察可能会引起被观察者的焦虑或紧张从而影响表现

焦点小组

 和少数参与者一起深度探索一个主题

设计小组讨论的问题；训练有素的主持人；参加者有数量限制（6-12人）；为不同组的参加者进行不同的小组讨论

可进行深度探讨；是明确某一个问题的好机会；具有协同增效效应和雪球效应.

小组可能有偏见；主持人可能有偏见；一些参与者可能控制讨论；由于参加的人数少，讨论结果可能会没有代表性.

电话访谈

通过电话收集标准化的报告数据

制定访谈抄本和录音表；训练有素的访谈者；尝试多次联系。

 可以就不完整的答案进行继续提问；可以澄清误解；访谈者对数据的收集具有更多的控制

潜在访谈者的偏见；参加者可能给出公众期待（但非真实）的答案；被调查者因为看不到问卷，问题和回答的选项必须简单；联系被调查者可能不容易

选自博物馆和图书馆服务协会的美国领导力资助培训课程，请见

 http://www.imls.gov/Project_Planning/index.asp
Source: Falletta, Salvatore and Combs, Wendy. Info-line: 评估技术性培训: 一种实用的方式. (September, 1997). 12-15页. Alexandria, VA. ASTD (www.ASTD.org) (版权所有)

  

 


选择数据源以及被调查人群

如果指标是明确的，通常指标本身就建议了测量的数据源，以及被调查人群（目标群体的一部分）。指标应该针对哪个人群呢？应用于哪些项目数据呢？请思考以下案例的情形，需要更多的背景信息，请参考案例部分。

指标反映的是一部分还是整个目标群体的特征？

请记住你的目标群体是用总体特征来描述的，而你可能仅想把部分目标群体包括到项目中来作为项目参加者。

West Dakota 图书馆案例

所有的West Dakota居民是目标群体的一部分，但是他们不可能都被问卷调查。所以居民的一个随机样本集就被假定为整个群体的代表。

评估活动针对部分还是全部项目参加者？

Springfield 暑期阅读项目

所有的项目参加者是市区的所有幼儿园到6年级的学生。需要监测所有参加者的阅读测试吗？还是只针对有风险的学生？或是参与完成了特定数目的阅读活动的学生？

评估活动针对项目参加者之外的人群？

Springfield图书馆暑期阅读项目

相比学生自己，家长是否是学生在家里的阅读行为和态度更适合的信息源？

请记住，收集数据耗时耗力。仅收集足够的数据来评估项目是否成功，收集特定和具体的数据。数据源要具体而明确，考虑收集“所有的学生”的信息和 “需要课后辅导的学生”的信息在成本上的区别。抑或你实际上指的是“参加至少5节辅导课程的学生”？如果你估计有100名学生满足这个标准，你是否应该说“参加至少5节辅导课程的学生的随机样本”？

 


图书馆案例：Riverton 回忆录项目指标

根据Riverton回忆录项目的以下成果，选择数据源和考察群体

成果1：项目参加者提高了自己的写作能力

指标

考察群体

数据源（获取评估数据的方法）

#和%的参加者至少修改了5篇稿件，并标注每一个修改版中他们试图修改什么

项目参与者

专家对参加者作品的评价

# 和% 的参加者其修改稿经创意作家盲审认为比初稿写作水平高

项目参与者

专家对参加者作品的评价

# 和% 的参加者被创意作家基于作者修改意图标注的评审定为修改稿比初稿写作水平高

项目参与者

专家对参加者作品的评价

成果2：项目参加者认为他们是作家群体的一分子

指标

考察群体

获取评估数据的方法

# 和% 的参加者能说出通过哪3个途径他们感到自己是作家群体一员

项目参与者

退出调查

# 和% 的参加者在项目结束后表现得像作家群体的一员（写作、继续参加本图书馆的作者组织或者加入其他作者组织、参加作品朗读会、阅读传记、常常阅读作家关心的问题）

项目参与者

根据行为检查清单进行电话访谈

 

下一页


创建自: JacmanChin408 points . 最后修改: 星期日 22 of 5月, 2011 01:29:05 MDT 作者 JacmanChin408 points .
原始文件位于 https://evergreeneducation.org/wikipub/tiki-index.php?page=Module%20D%20Data%20sources_ch