《案例研究与国家自然科学基金绩效评估 —医学.pdf》由会员分享，可在线阅读，更多相关《案例研究与国家自然科学基金绩效评估 —医学.pdf（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/第期中国科学基金 墓金纵横 案例研究与国家 自然科学基金绩效评估医学科学部的实践张凤珠马亮吴建南董 尔丹国家 自然科学基金委员会医学科学部,北京西安交通大学管理学院,西安西安交通大学公共政策与管理学院,西安引言年月日,科学基金资助与管理绩效国际评估启动会在京召开,标志着筹备两年的国际评估工作开始正式 实施。本次评估将从 战略定位、资助绩效、管理绩效及影响等个方面,全面评估国家 自然科学基金 以下简称科学基金 设立年来的资
2、助与管理活动的整体绩效,促进科学基金总结经验、明确方向、健康发展。科学基金通过以同行评议为核心 的评审机制遴选项 目予 以资助和管理,受资助项 目取得的优秀成果是展现科学基金资助与管理绩效 的主要载体,据此形成的典型案例在本次评估中占有重要地位。为了推动典型案例收集工作,科学基金资助与管理绩效国际评估办公室 以下简称评估办公室 于年月日印发了关于印发科学部提供科学基金资助与管理绩效国际评估典型案例工作方案的通知以下简称 工作方案。工作方案 指出,各科学部要梳理和总结年来资助工作在推动重大科学突破和重要科学进展、促进各类人才成长和团队进步、面向国家重大战略需求和应对重大事件提供基础支撑、促进学科
3、均衡协调可持续发展等方面发挥 的作用。案例研究如何为科学基金绩效评估提供支撑怎样征集和编写案例如何保质保量完成案例研究工作这些问题都是评估 中需要 回答 的关键问题。为了推动科学基金典型案例工作,本文 旨在探讨上述议题,并结合医学科学部的工作实践,探讨案例研究的若干问题。案例研究方法在科学基金绩效评估 中的重要价值案例研究最早源于医学和法学,后延伸到管理学及其他学科,并逐渐成为许多学科 的重要研究方法。时至今 日,尽管实证主义量化方法 占据主流,案例研究等定性研究方法仍然是不容忽视 的重要分支。案例研究注重“解剖麻雀”和“讲故事”,旨在通过少数几个案例的系统剖析和深入挖掘,探究问题的内在逻辑。
4、因此,案例研究具有纵贯性、深入性、生动性等特点,通过对少数观测点的历时、深人和生动的刻画与再现,为回答研究问题提供富有说服力的证据阁。案例研究有多种用途,如教学、研究、评估等,不同 目的的案例研究有不 同的原则、标准和方法。就绩效评估来说,案例研究是一种不可或缺的评估方法,甚至在某些情况下是惟一可行 的评估方法。虽然量化评估 的呼声甚嚣尘上,乃至一度成为绩效评估领域的不二法则,但案例研究始终占据着不可或缺的位置。案例研究通过有限数量的案例来揭示和理解评估问题,并为评估者提供学 习和系统评估 的机会。与其他评估方法相 比,案例研究的优点在于“有助于理解复杂过程 探究尚未明确界定的变量 能够组织安
5、排并易于分析 有利于认识影响计划 项 目成功的因素。”案例研究的缺点在于“过度依赖评估者的技巧和经验 如果数量较大费用会非常高 难以跟踪监测 产生的量化信息有限。”科技绩效评估工具包括案例研究、文献计量学、共词分析、同行评议、专利分析、用户调查、成本 收益分析等,它们各具特色,适用于不 同的评估对象、目的和问题,并可以进行一定的组合闭。表显示,本文于年月日收到 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/中国科学基金年评估工具大致分为定量评估、定性评估、定量与定性相
6、结合的评估,它们在基础研 究评估 与研发 创新评估 中的作用不尽相同。案例研究属于定性评估,它在基 础 研 究 评 估 与研 发 创 新 评 估 中都 非 常适用。表各种工其在墓础研究与研发 创新计划评估中的效用评估工具分类评估工具基础研究研发 创新定量评估文献计量学共词分析专利分析定性评估案例研究同行评议定量与定性相结合用户调查成本 收益分析资料来源 修改 自和,圆圈越多代表效用越大,斜线代表不适用。周年纪念,为此它在官方网站上设立了历史时间轴,以不 同颜色的图标标示的历史、教育活动、研究结果和历届主席图。在这个时间轴上,每年都有一个大事件,必不可少 的是受资助项目获得的标志性科学突破。这种
7、通过典型案例反映科学基金绩效的事例并不鲜见,在其近几年的年度绩效报告 中专门设置“绩效亮点”,通过少数受资助项 目的优 秀成果体现科学基金绩效。根据评估 目的不同,案例研究大致分为类阁说明性案例研究,即通过一两个案例对计划的背景信息进行介绍,以使评估者熟悉背景并取得共识 探索性案例研究,是大规模评估前的试评估,用于回答评估方案设计的相关问题 批判性案例研究,通过少数案例回答一些关键问题,如计划干预的因果关系问题 计划实施案例研究,评估计划是否按照预定方案执行 计划效果案例研究,评估计划的影响及其成败因素 累积性案例研究,多时点采集信息对计划进行回顾性或前瞻性的评估。从科学基金绩效评估的目的来看
8、,主要采取的是计划效果案例研究,即对受资助项 目的效果和影响进行评估。基于大规模量化数据 的绩效评估可 以提供全面、整体的绩效信息,但如果缺少以案例研究为支撑的细致人微的剖析,则很难真实反映评估对象的全貌闹。更为重要的是,基于逻辑模型,可以对受资助项 目进行系统分析,讲述一个个生动活泼的“绩效故事”,从 中反映科学基金绩效。因此,实现量化数据与典型案例的“点面结合”,是科学基金绩效评估的一个 重要 准则,也是案例研 究不 可或缺 的主要原 因。从其他国家的实践来看,案例研究始终是科学资助机构绩效评估 的重要方法闭。年,集团对欧盟创新项 目进行评价,研究人员选取在研究领域、地区、预算等方面差异较
9、大的个项 目进行案例研究。与项 目利益相关者进行深度访谈和现场走访,开发案例研究手册和模板,遵循统一结构对项 目的战略情境、规划、管理、实施过程和结果等进行分析,揭示影响项 目绩效的关键因素。美 国国家科学基金会在年迎来科学基金典型案例工作方案分析从循证评估的角度来看,案例研究为科学基金绩效评估 的许多关键议题 和评估 角度提供证据支撑。国际评估包括个关键议题个评估角度,典型案例为个关键议题提供证据支撑,占全部关键议题的为个评估角度提供证据支撑,占全部评估角度的。因此,案例研究是科学基金绩效评估不可或缺的重要方法和证据来源。总体而言,案例研究需要 回答个关键问题 回答什么问题或实现什么 目的
10、选取哪些案例、多少案例及如何选取 如何收集和分析案例信息圈。案例研究的目的对于科学基金绩效评估而言,不同的关键议题和评估角度需要不同的评估证据加 以支撑,而案例研究是反映资助绩效与影响的重要证据。工作方案 指出,案例研究主要为科学基金资助绩效与影响提供证据支撑,科学基金 的战略定位与管理绩效则主要基于其他方法,如档案分析、问卷调查等。这种评估方法与评估 目的的匹配关系符合 国际评估的一般做法,也有助于发挥案例研究的作用川。因此,案例研究需要回答的关键议题是 科学基金资助在促进重大科学突破、推动团队建设和人才培养、解决国家战略需求和促进学科发展等方 面发挥 了哪些作用产生了哪些影响案例选取的代表
11、性案例研究广受垢病 的一个 因素就是数量少,缺乏代表性。在案例研究方案设计 中,关于案例选取的标准问题也是争论得最为激烈的焦点 问题。一些人建议尽可能多地选取案例,但 由此却增加了成本,并与其初衷背道而驰。另一些人则通过随机抽样技术保证案例选取的代表性。科学基金设立以来资助了大量项 目,很难随机抽样或大规模采样。基础研究具有探索性、偶然性和不确定性,科学基金“广种薄收”的资助特点决定 了很难 随机抽 样。因 1994-2010 China Academic Journal Electronic Publishing House.All rights reserved.http:/第期张凤珠等案
12、例研究与国家 自然科学基金绩效评估 医学科学部的实践此,针对关键议题和评估角度选取典型案例,就成为科学基金绩效评估的主要方式。根据国际经验,工作方案 规定每个科学部提供的案例总量应在一个,共计形成个左右的案例,为各个评估角度提供证据支撑 详见表。表医学科学部各类典型案例数总计科学突破人才培养国家需求学科发展要求数量一一一一获奖成果报道成果科学处遴选科学部确认案例编写的主体与方式案例研究强调获取并 占有第一手资料,评估方的实地考察与受资助者的报告都属于第一手资料。由于基础研究具有很强的前瞻性和专业性,如果缺乏足够的学科背景,很难理解其内涵和价值。因此,面向不同学科实施案例研究,首先需要解决的问题
13、就是如何确保案例研究不受学科专业性的限制。不同学科的专业性不 同,很难强求评估方对其都能了如指掌。对项 目情况最有发言权的是作为受资助者的专家,因此邀请专家编写案例既符合科学基金的职能特点,也能确保真实性和科学性。工作方案 规定,典型案例分为大类共小类,分别反映科学基金在促进科学突破、推动人才培养、满足国家需求和促进学科发展等方面的作用 规定 了每类案例的文本范本和编写范例,为专家编写案例提供引导,并有助于按照统一格式报告。医学科学部典型案例工作的探索与实践年月,医学科学部经批准正式设立。作为国家 自然科学基金委员会设立最晚的科学部,医学科学部成立伊始面临着多方面的挑战,典型案例工作即是其中之
14、一。科学部的学科建制和人员配置经过较大幅度的调整重组,使原始资料的整理、筛选和分析变得较为困难。年受理 申请项 目规模大,位居全委之首,评审工作量较大,影响典型案例工作进展。医学科学部克服重重困难,确保顺利完成评审业务工作与典型案例工作。为征集典型案例,总结医学领域过去年的资助成果,科学部拟定了工作计划并委派综合处负责。由于一月份恰逢评审工作高峰期,为了在不影响评审业务工作的前提下顺利完成案例工作,综合处在前期进行 了大量准备工作。具体来说,采取“两步走”策略,平衡科学部工作周期并协调工作高峰期。在同行评议指派时期一月份 遴选反映科学基金促进科学突破、推动人才培养和满足国家需求等类典型案例清单
15、,避免分散科学处的工作重合。在同行评议时期一月份 遴选 和编写科学基金促 进 学 科 发 展 的典 型 案 例,发 挥 科 学 处 的作用。综合处首先消化吸收典型案例工作方案,明确科学部的主要任务及工作方式。根据工作要求,初步拟定了案例的收集数量和分布状况,并制定工作计划。整理、筛选和汇总年以来科学基金资助项 目在医学科学领域取得的优秀成果,包括在各类出版物中报道的优秀成果,如历年国家 自然科学基金委员会年度报告 、历次国家 自然科学基金资助项 目优秀成果选编 、国家 自然科学基金委员会周年成果选编 、国家 自然科学基金周年巡礼 等,以及获得各类国家科技奖的优秀成果,如国家 自然科学奖、国家科
16、技进步奖。由于医学科学部成立较晚,主要工作是根据学科代码筛选 医学科学领域的资助项 目,按照所属学科和评估角度对优秀成果进行分类归并,形成可供各科学处遴选的清单,并拟定各科学处的征集数量、类型和要求。综合处共计整理备选优秀成果项,其中报道成果项,获奖成果项 具体见表。综合考虑典型案例工作要求和科学部的具体情况,计划收集个左右的典型案例。医学科学部专门召开典型案例工作会议,向科学处布置工作要求并下发备选案例清单,请科学处从中遴选或另外推荐最能反映各个评估角度 的案例。随后,各科学处将遴选 的案例清单 向综合处反馈,共计个案例。综合处根据不同情况进行沟通,请科学处增补案例,共计获取个案例。综合处在
17、此基础上平衡不同历史阶段、学科方向、项 目类型、地区和单位、项 目负责人 性别、民族、年龄、职称等 的代表性,对备选清单进行筛选,按照重要程度形成了拟报送的案例清单,共计个案例。综合处向科学处反馈和征求意见,遴选最有代表性的案例并排序,分门别类决定案例清单,协调并汇总形成科学部案例清单。在征求科学处及有关方面的意见后,确认科学部案例清单。综合处统一发函邀请科学家撰写反映科学基金促进科学突破、推动人才培养和满足国家需求等类案例 科学基金促进学科发展的案例由科学处负责撰写。为确保工作顺利,综合处及时与编写者保持联系,提供所需资料并回答涉及的问题。目前已发出全部邀请信并经 1994-2010 Chi
18、na Academic Journal Electronic Publishing House.All rights reserved.http:/中国科学基金年编写者确认,回收了部分案例文本与证明材料,并收到部分编写者的反馈。预计将按时获得各类案例,在征求评估办公室的意见后请编写者修改完善,汇总整理后报送评估办公室。结论本文对案例研究方法在科学基金绩效评估中的重要性进行了分析,并结合医学科学部的探索与实践,阐述了案例研究需要明确的问题与注意的事项,为更加稳妥地推进科学基金绩效评估提供 了依据。医学科学部典型案例的工作经验包括以下几点。高度重视,周密计划科学部对科学基金绩效评估典型案例工作高度
19、重视,先后召开多次会议,并组织科学部全体工作人员学习工作文件及其他材料。科学部牢牢抓住典型案例工作契机,将其作为科学部的一项年度重要工作,与其他业务工作有机结合,并通过典型案例的收集,为科学部积累优秀成果,为管理工作完善提供依据。与此同时,结合科学部的实际情况细化并制定周密的工作计划,并对关键时间节点进行监测,确保工作顺利推进。齐心协力 上下联动在案例清单遴选过程中,采取上下联动的方式,充分发挥科学部领导、综合处和各科学处 的作用。科学处对受资助项 目的情况最为了解,能够为典型案例工作提供富有价值的参考意见。科学处的工作人员对受资助项 目,特别是一些较有“显示度”的项目非常熟悉,常常是信手拈来
20、,如数家珍。他们十分清楚哪些项 目最能代表本学科在各个评估角度的贡献,并对这些项 目的最新进展及科学基金在其 中发挥的作用了如指掌。充分发挥科学处 的作用,是典型案例工作事半功倍 的关键。因此,需要保持案例清单的开放性,注重倾听科学处的意见和建议,确保案例的典型性和代表性。沟通交流,学习借鉴由于典型案例工作是一项新事物,需要加强学习和交流,掌握并运用案例研究方法。评估办公室定期组织召开双周交流会,在会上各科学部沟通工作进展,交流工作经验,对于明确思想、确保进度、学习借鉴等都有重要意义。与此 同时,科学部积极与评估办公室、信息中心、档案室、兄弟科学部等沟通联系,为专家编写案例提供信息资料、方法指导等方面的支持。最后,与编写者保持畅通交流,解决编写工作中遇到的难题,交换工作进展并确保工作进度。参考文献陈晨科学基金 国家创新体系的重要组成部分科学时报,一 一罗伯特 殷案例研究 设计与方法重庆重庆大学出版社,吴建南,马亮,郑永 和科学 基金 国际评估 如何报告绩效 关于 日本学术振兴会绩效报告的叙事分析科学学与科学技术管理,一,讨,一吴建南,马亮,郑永和科学基金国际评估的框架、内容与方法 基于多案例的跨国比较研究科学学研究,。,一仓,一八一一飞,广门一,八连一一,艺。,玄 少,二夕,泛,乞,泛少,