您的位置:首页 >理论观点>详细内容

理论观点

王楠 张莎|构建以跨学科和社会影响为导向的科研评估框架——基于英国“科研卓越框架”的分析

来源:中国高教研究 发布时间:2021-08-31 15:45:44 浏览次数: 【字体:

                                   摘 要

“科研卓越框架”是英国于2014年起面向全英高校实施的科研评估体系。新一轮评估“科研卓越框架2021”在参照“科研卓越框架2014”元评估结果的基础上,对评估制度进行了改革探索:在评估组织与管理方面,进一步优化了学科分类,提高了委任专家的代表性,完善了参评学者管理制度;在科研产出维度,改变了规模导向的评估方式;在科研影响维度,进一步扩大了影响力涵盖范围;在科研环境维度,增设了院校级环境评估。英国“科研卓越框架”评估为适应知识生产模式转型所进行的制度改革,为我国科研评估体系改革提供了如下可资借鉴之处:建立跨学科研究的评估机制;关注科研成果的非学术影响;注重科研人员的可持续发展;促进高校营造良好科研环境。

                                  关键词

英国;科研卓越框架;科研评估;评估改革

                                 一、引言

高校是国家创新体系的重要组成部分,高校科研能力是推动国家科技创新的重要引擎。英国于2014年开始实施“科研卓越框架”(Research Excellence Framework,REF)评估体系,该体系以学科为基础,以专家评议结合文献计量为方法,从科研产出、科研影响、科研环境三个维度对高校科研水平进行综合评价,并将评估结果与国家科研资源配置挂钩,希望通过评估激发高校追求卓越科研的动力,进而提升国家科技创新的整体实力。REF2014首次探索采用“案例+模板”的方式来评估科研成果的外部社会影响,扭转了科研评估的价值导向,对知识生产模式变革作出了回应,一度引发全球科研界的高度关注。

20世纪末至21世纪初,不同的学者都共同强调大学知识生产模式正在发生变革。迈克尔·吉本斯提出,知识生产正在从传统的“强调学科本位”和“追求高深学问”的模式1(Mode 1)走向“强调科研的跨学科本质”和“问题解决”的模式2(Mode 2)。不同于模式1主要在传统的学科结构体系和学科逻辑下进行知识生产,模式2强调尊重科学研究的跨学科本质,同时容纳理论框架与实践模式两方面要素,兼顾大学的学术使命与社会责任,鼓励大学、产业、政府和公民社会等多元主体对科学的协同治理。德雷克·普赖斯(Derek Price)则提出知识生产模式正在由“小科学”转向“大科学”。“小科学”主要指科学家根据个人兴趣和好奇心,以追求科学真理为导向,集中于单一学科内进行个体或小规模集体的自由式知识生产模式;而“大科学”主要是科学家以投入大量经费支持的大型科研项目为依托,采取跨学科甚至国际范围的合作方式,进行具有明确研究目标及社会责任的知识生产活动。在知识生产模式现代转型的背景下,作为评价知识生产活动的评估制度必须同步变革,遵循知识生产的自身逻辑,才能切实发挥其指挥棒和风向标的作用。英国无疑是这方面的先行者,在REF2014评估结束后,REF团队根据相关的元评估报告及咨询论证结果对首轮REF评估进行了回溯,并以此为依据对REF2021的评估细则进行了修订与完善,以期突出强调公平、平等、透明的原则,提高科研评估体系与知识生产创新活动之间的契合度。英国希望新一轮的科研评估活动能够更好地契合知识生产模式转型的方向,进一步强化知识生产的跨学科特性、强调利益相关者所关注的科研社会影响,能够更加重视研究人员的可持续发展和科研的外部环境等。

近年来,我国先后颁布了《关于优化科研管理 提升科研绩效若干措施的通知》《关于深化项目评审、人才评价、机构评估改革的意见》《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》以及《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》等政策文件,力图对当前由于价值偏离导致的评价异化现象进行纠偏,推动科研评估制度改革创新,发挥其鼓励和促进研究成果“面向国家重大需求,服务社会经济发展”的指挥棒和风向标作用。可以说,建立以创新水平和社会影响为导向的科研评估体系势在必行,这是一段时间内我国科研评估制度改革的主要目标。英国REF2021最新的改革动向为全球科研评估体系改革提供了一定的指向性,也为我国科研制度创新提供了可资借鉴的有效经验。

                          二、REF2014中存在的问题与争议

(一)评估的组织与管理

REF评估设立了评估单元,组建了评估小组,制定了评估标准,搭建了完整的组织与管理体系。但根据REF2014的元评估和咨询论证报告发现,在评估单元的学科划分、评估小组的专家委任、参评人员的聘用与管理等方面仍存在争议与可继续完善的方面。

1. 评估单元:学科划分引争议。REF2014设立了A(医学、农学、食品科学)、B(理学、工学)、C(社会科学)、D(人文、艺术、宗教)四个学科大组,并在各学科大组下根据学科分类进行了细分,分设36个二级学科小组,其中每一个二级学科小组都成为一个独立的评估单元(Unit of Assessment,UOA),各自开展评估。REF2014中评估单元的数量相较之前的RAE已减少了近一半,但评估单元的数量设定在学者及高校之间依然存在较大争议。有的学者和高校建议增加评估单元的数量,提出目前评估单元的结构未能反映大学的学科构成,评估单元数量的减少会导致“非同类学科”合并,这种合并不能充分关照到某些“冷门”学科的特点,从而影响评估的公正性,不利于这类学科的长期发展。有的学者和高校则认为应进一步缩减评估单元的数量,每一个评估单元整合的二级学科越多,将越有利于学科间的交流与合作,从而促进跨学科研究。同时,高校要想获得较好的成绩就要在提交材料时进行一定的战略规划,决定以哪些优势学科为主进行提交,如果评估单元数量减少,二级学科进一步整合,则会减轻高校在提交战略上的压力,使其将注意力集中在科研本身。

2. 评估小组:委任专家代表性不足。REF评估是一个专家评审的过程,REF2014对应A、B、C、D四大学科分类设立了四个主专家组,并在其下分设36个子专家组。子专家组在主专家组的指导下根据小组标准和工作方法,运用适当的评估标准进行研究成果的评价,并给出评估结果。针对REF2014所开展的元评估和咨询论证证明了基于学科的专家评审具有良好的效度。但REF团队在选拔和委任专家成员时仍然存在代表性不足的问题。一是专家成员的组成结构较为单一,主要体现在性别、族裔、身份等方面。如在REF2014专家小组成员中,女性成员的委任率为33%,这一数值明显低于男性67%的比例;黑人种族成员(Black Ethnicity Member,BEM)的委任率仅为5%,低于全国学术人员中具有BEM背景的常任教职员工和教授所占的百分比;残疾人委任率也低于全国学术人员中的残疾人比例。这有可能影响专家评估视角和经验的多样性,不利于保障评估结果的准确性。二是专家成员的个人专业背景较为单一,大多数专家来自某一学科领域,缺少对跨学科研究的评估能力。有些学者可能会对某一学科或某一类研究具有明显的偏向性,从而在评估跨学科研究成果过程中对其他学科产生歧视与偏见,影响跨学科研究评估结果的准确性。

3. 参评学者:临时招募“超级明星”。尼古拉斯·斯特恩(Nicholas Stern)勋爵在REF2014的元评估报告中指出:为了在REF评估中获得较为理想的成绩,高校在参评学者的选择安排策略上可能对学者产生负面影响。一是高校在REF人员普查日之前会临时雇用与研究没有直接或长期联系的研究人员。如一些高校以0.2个全时工作(Full-Time Equivalent,FTE)合同,即全年工作2.4个月的合同,来招募行业的“超级明星”,从而提升研究项目的关注度和影响力,但这些学者在研究项目上发挥的实际作用非常有限。这种人员选择结果可能会造成某些真正有实力的研究人员因与个人研究能力无关的因素而被排斥,不利于高校全职研究人员的职业发展。二是某些高校会以签署短期合同的形式来雇用处于职业发展早期阶段的研究人员,敦促其在短时间内产出一定数量的成果以迎合REF对成果数量的要求,但并不支持他们开展冒险但创新的课题研究,也不真正关心和鼓励他们的长期发展。这种情况会使这类员工常处于压力之下,威胁其职业前景。

(二)评估维度

REF评估从科研产出、科研影响、科研环境这三个维度对一份科研成果进行评估,以综合质量的方式来呈现科研成果的最终成绩。REF2014在这三个维度的权重设计、标准制定等方面已经有了较为科学的体系,但元评估及咨询论证报告表明在维度的相关准则方面仍存在问题。

1. 科研产出:“短期主义”与“转移产出”行为盛行。科研产出是指研究人员在REF评估周期内以各种形式公开发表的代表性研究成果,包括期刊论文、专著、专著中的章节等,也包括其他形式的成果或作品,如设计作品、文化演出、展览等。在REF2014中,专家组主要从原创性、重要性和严谨性等方面对科研产出的质量进行评估,并形成质量意见书,质量意见书会对评估成绩产生较大影响,所以高校非常重视其提交的科研产出的质量。虽然在REF2014评估中有76%的科研成果达到了国际优秀标准,但在后期的元评估中发现高校所提交的科研产出在研究课题以及成果所属权等方面仍存在问题。一是科研产出的研究课题冒险性及创新性较低。研究人员为了提高科研成果的质量以及在REF评估中的星级,通常会选择研究周期短、难度低、创新性低的课题。这类课题可以使研究人员在短时间内产出较丰富的科研成果,以满足REF评估对科研产出数量的要求。但是这种“短期主义”行为会阻碍那些需要付出较长时间、对研究人员的创新力有更高要求的研究领域的发展。二是科研产出的所属权界定不明晰。REF2014中没有关于科研产出“不可转移”的相关规定,所以依靠高校提供的研究资源所取得的科研成果,会随着研究人员的流动被转移到新单位。这种现象给高校造成的资源流失,严重影响了学者原单位在REF评估中的成绩。

2. 科研影响:“影响力”辐射范围与时限存在局限。REF2014引入了全新的科研影响评估维度,即科研成果在学术界以外产生的辐射影响(非学术影响),包括对经济、社会、文化、公共政策、医疗、环境以及公民生活质量等方面产生的积极变化或影响。这一评估维度的实施得到了人们的广泛支持,多数学者及高校认为科研影响评估维度的引入可以增强高校内部对科研影响的认识,有效地展示研究产出所带来的积极改变。但在“影响力”评估的范围、“影响力案例”的提交规则等方面存在问题与争议。一是现有“影响力”评估涵盖的范围不全面。REF2014忽略了研究对大学教学、学生发展、学科建设以及局部区域(非全球性)所产生的影响,容易使研究人员过分关注对高校外部的影响,而忽视对内部建设与发展的研究。二是科研成果的影响力具有滞后性,即科研的“非学术影响”往往不是在短期内能够呈现出来的,一般需要经历比较漫长的转化周期。所以多数学者及高校认为在一个评估周期内很难有效评价某些成果的外部影响,REF2014中的“影响力案例”可能在REF2021评估周期内持续产生辐射影响。因此,应在REF2021中允许重复提交REF2014中的“影响力案例”。

3. 科研环境:对院校整体科研环境把握不足。科研环境是指参评单元在支持研究活动和在学科建设方面所采取的战略、为研究人员提供的资源以及基础设施建设等。REF2014为参评单元提供环境评估模板,由其填写、提交,参与评估。而隶属于同一院校的不同单元(院、系、所等),在开展各项科研工作的过程中,均会受到院校整体科研环境和战略部署的影响,如得到人员经费等方面的支持,受到院校文化环境的浸润。所以在提交单元级环境评估模板时,不同评估单元难免存在重复内容。这不仅会加重评估小组的负担,也不利于对院校级的科研环境进行全面的把握,进而造成评估的片面性。在元评估中,斯特恩勋爵建议创建院校级别的环境评估模板,以此来整体把握和全面评价院校在促进跨学科研究、提高科研成果的影响力、加强知识交流等方面所采取的策略与提供的支持。

                           三、REF2021进行的优化与创新

(一)评估组织与管理

REF2021为完善科研评估的组织与管理体系,在评估单元、评估小组和参评学者提交资料等方面进行了改革与完善,使学科划分更加合理,专家构成更加多样,参评学者管理规范更明确。

1. 评估单元:优化学科分类,合理设置单元数量。针对评估单元数量设置引发的争议,REF2021对评估单元进行了调整。REF2021主评估小组与REF2014保持一致仍为4个,但评估单元由36个缩减为34个,二级学科由53个整合为48个。其中,对一些相关学科进行了合并,如在REF2021中,B组的“工程学”即为REF2014中的“航空、机械、化工和制造工程”“电气与电子工程、冶金与材料”“土木与建筑工程”以及“一般工程”这四个评估单元的合并。这种合并有利于加强学科间的资源流动与知识交流,促进跨学科研究与学科合作发展。同时,REF2021在保证学科间交流的基础上,也对不合理的学科合并进行了拆分。如将C组的“考古”与“地理及环境研究”拆分为了两个评估单元。这种做法有利于提高学科分类的科学性以及科研评估的可操作性。

2. 评估小组:提高委任专家代表性,积极消除评估偏见。REF2021仍采用专家评审的方式进行评估,为提高评估小组专家委任的代表性与多样性,REF2021采取了以下措施:一是将专家委任分为两个阶段,即标准制定和正式评估。标准制定阶段主要是邀请了一部分专家来参与评估小组的标准与规则制定。正式评估阶段增加了专家成员的数量,为正式评估做准备。分阶段委任能够使REF团队根据专家申请情况来及时调整专家构成,从而提高专家成员的代表性与多样性。分析显示,REF2021女性专家委任率为45%,相比REF2014增加了12个百分点,且略高于全国学术研究人员中女性所占44.6%的比例;具有BEM背景的专家委任率增加了2个百分点为7%,残疾人的委任率增加了4个百分点为5%,相比REF2014都有了一定的提高。二是REF团队建立了一个“跨学科研究咨询小组(Interdisciplinary Research Advisory Panel,IDAP)”来为跨学科研究的评估程序提供建议与指导,并在每个主小组至少委任一位,每个子小组至少委任两位“跨学科研究评审员(IDR adviser)”,他们精通跨学科研究一般规律,具有丰富的跨学科研究和评价经验,负责在专家间进行协调交流,帮助专家成员消除学科偏见。同时,REF团队对所有专家成员开展了强制性地消除无意识偏见培训(unconscious bias training),以此来减少因专家成员的个人主观偏见而对评估结果产生的影响,保证所有形式的科研成果在评价中被公正的对待。

3. 参评学者:规范参评人员管理制度,支持员工长期发展。高校对参评学者的选择安排策略不仅会影响科研成果的质量,也会影响参评学者的工作情绪以及职业发展状况。为改善高校在参评学者管理上产生的负面效应,帮助高校提高参评学者选择安排过程中的规范性与公正性,REF2021做了以下规定:一是REF2021对高校在提交参评学者资料时作了严格要求。如果评估单元以短期合同的形式聘用了研究人员,应向REF提供一份简短的说明,以证明该员工与聘用单位之间有明确的关系。这能在一定程度上减少聘用“超级明星”的行为,同时也能减少因非研究能力而对全职研究人员产生排斥的现象。二是REF2021为减轻职业发展早期阶段研究人员的压力,取消了最低提交一项科研成果的决定,不要求这类员工在短期内必须提交科研成果,以帮助这类员工进行长期发展。

(二)评估维度

REF2021对科研产出、科研影响、科研环境这三个评估维度的权重进行了调整,并改进与完善了维度设计与准则制定,使其能够鼓励科研创新,提高科研的外部影响力,促使高校注重整体科研环境。

1. 科研产出:改变规模导向,鼓励科研创新。REF2021将科研产出维度的权重由65%调整为了60%,并细化了这一评估维度的具体规定。一是研究人员在个人代表作提交数量上具有更大的灵活性。REF2021允许研究人员根据自身情况提交不同数量的科研成果,高校提交的科研成果总量应为项目负责人全时工作总量的2.5倍。其中,项目负责人必须至少提交一项科研成果,而其他研究人员如高校先前雇用的研究人员、处于职业发展早期阶段的研究人员则不要求必须提交,但同一人提交的代表作数量不得超过5项。这些规定能够改变研究成果的规模导向,减少“仓促发表”现象,鼓励研究人员扩大选题范围,积极选择具有创新性的科研项目。二是规定科研产出“不可转移”,即不管研究人员是如何流动的,科研产出只应由支持了该研究的院校上交。这一规定可保护由原高校提供资源所产生的科研成果不会流失,保证原高校在REF评估中的成绩不受影响,同时也有助于缓解高校因研究人员离职所带来的压力,促进研究人员在不同院校间的流动。

2. 科研影响:扩大影响涵盖范围,鼓励影响持续辐射。REF2021将科研影响维度的权重由原来的20%提高到了25%,这一比重的上升意味着“科研影响力”的重要性得到了社会各界的广泛认同与重视。为回应REF2014评估中出现的争议,REF2021在科研影响评估维度上进行了调整。一是扩大“影响力”评估涵盖的范围。REF2021明确指出:①参评高校可以提交科研成果对学生、教学或其他校内活动产生辐射影响的相关资料,但要向评估小组说明高校是如何支持与推动这类影响产生的;②无论是在地方、国家还是全球范围内,科研成果的影响力将根据“辐射范围和重要性”进行评估,与地理位置无关。这些规定将会提高研究人员对高校内部发展与建设的关注度,为校内学科建设作出更多贡献。二是允许“影响力案例”重复提交。REF2021规定,在上一次评估中提交过的“影响力案例”如果同样满足REF2021的要求,可在REF2021评估中再次提交,但这些重复提交的案例需要使用“标识符”进行区分。这一规定可以使某些持续产生辐射影响的科研成果得到更为全面的评估,提高研究人员对研究所产生的社会效益的关注。

3. 科研环境:增设院校级环境评估,鼓励加强外部支持。科研环境评估维度的权重与REF2014一样仍为15%,但REF2021增加了对参评高校院校级科研环境的审查。高校需准备一份院校级的科研环境说明,这份说明包括院校背景和发展使命、院校在REF2021评估周期以及未来五年的战略规划、院校人员管理策略以及院校经济收入和基础设施配备情况。这份说明将附加在单元级的科研环境评估模板中,从而为单元级的科研环境评估提供辅助资料,但REF评估小组不会就院校级的科研环境内容进行打分。评估单元在提交本单元科研环境参评资料时,可参考院校级的内容,但应突出本单元为创设良好科研环境所做的努力和采取的策略,避免与院校级评估内容重复。

同时,REF团队接受斯特恩勋爵的建议,成立了专门的评估小组来进行院校级科研环境的试点评估,该试点小组的评估工作将与REF2021评估活动同步进行。试点小组将对院校级科研环境说明中的院校战略规划、人员管理以及收入和设施建设部分进行评估,但其评估结果并不影响高校在此次REF2021中的最终成绩。试点小组最后会根据评估结果向REF团队提供报告,说明可行性及进一步开展独立院校级科研环境评估的建议。院校级科研环境说明的增加能够更全面地反映参评高校的整体科研环境水平,有助于各个评估小组减少对重复性内容的评估,减轻评估负担,同时提高评估的准确性。

                               四、REF2021改革的启示

REF2021的优化与创新表明英国科研评估体系在朝着更加规范化与科学化的方向发展,其最新改革动态为我国高校的科研评估在机制完善、指标设计、人员发展及环境建设等方面提供了可资借鉴的经验。

(一)建立跨学科研究的评估机制

在知识生产模式转型背景下,科学研究突破了单一或特定学科的范围限定,主要在跨学科领域进行,跨学科研究成为当前科研成果产生的新形式。为保证跨学科研究评估的公平性、科学性与规范性,势必要建立起一套适应跨学科研究成果多样性与复杂性的评估机制。英国REF2021调整并改进了评估单元、评估小组、评估标准、评估程序等方面的相关规定,如在评估单元划分方面,充分考虑学科规律与特征,合理地进行学科合并、拆分,体现出对跨学科研究类型的偏好;在评估标准制定方面,成立“跨学科研究咨询小组”来协助制定标准与规则;在评估专家构成方面,安排具有跨学科研究背景或经验的学者指导与帮助其他专家进行跨学科研究成果的评估。这些做法不仅促进了学科之间的交流与合作,鼓励了跨学科研究的开展,也保证了跨学科研究评估的准确性。我国在开展跨学科研究评估时可借鉴英国经验,改革根据单一或特定学科特点制定的传统评估模式,充分考虑融合了不同学科研究方法论与认识论的跨学科研究的特点,在评估体系内部建立起一套适用于跨学科研究成果的评估机制。

(二)关注科研成果的非学术影响

知识经济时代下,开展科研不能只追求学术价值,必须注重科研成果对外部社会经济所做的贡献。英国REF评估的一大亮点是设置了“科研影响”这一评估维度,采用“案例+模板”的方式针对科研成果的非学术影响展开评估,建立起了科研影响力评价机制。REF2021在REF2014的基础上进一步规范了“科研影响”这一维度的评估内容,如在指标设计方面,“科研影响”评估权重由20%提高到了25%;在“影响力”范围界定方面,将科研成果对教师、学生以及教育教学活动产生的辐射影响纳入了评估范围;在案例提交规定方面,允许在REF2021评估周期内产生辐射影响的研究重复提交,以解决影响力“滞后性”问题。这些改革充分体现了REF评估不仅注重科研成果的学术价值,同时强调其外溢效益。我国在改革高校科研评估体系时应顺应知识生产模式的转型,加强对科研成果“非学术影响”评估的关注,尝试建立切实可行的影响力评估机制。在进行评估机制设计时要合理设置评估比重,采用结合本土实际的评估方法,在评估指标设计上既注重科研成果对社会生产、生活产生的积极作用,也考虑对高校自身建设与发展所做的贡献。

(三)注重科研人员的可持续发展

高校对科研人员的管理不仅会影响科研人员的科研积极性,也会影响科研人员的自身发展。英国REF2021为支持科研人员的可持续发展修改了多项关于参评学者的评估细则,如在参评学者身份认定方面,高校需附加所聘短期员工的在职证明,说明其在科研项目中发挥的实际作用;在科研产出数量方面,不要求处于职业发展早期阶段的员工在评估期内必须提交科研成果,减轻其职业压力;在科研选题方面,鼓励科研人员选择具有冒险性和创新性的课题,开拓新的研究领域,改变“短期主义”倾向。这些措施不仅能够保护科研人员的研究自主性,促进其可持续发展,也能够提高科研产出的质量和创新性,体现了英国对科研人员职业发展的关注与重视。我国在《关于正确认识和规范使用高校人才称号的若干意见》中强调“坚持人才资源是第一资源的理念,尊重人才、爱护人才、平等看待各类人才”,这要求我国高校应树立正确的科研人员发展与评价观,以科研人员的可持续职业发展为评估目的,扭转科研评估中简单量化的做法,合理设置评估指标,减少科研人员在选题与参评中的短期化、功利化倾向。

(四)促进高校营造良好科研环境

高校对科研项目的资金投入、政策管理以及所营造的文化氛围是科研顺利开展的保障,但这些方面也制约着科研活动的发展速度与研究方向。高校只有营造良好的科研环境才能够激发科研人员的研究热情,进而提高科研成果的质量。英国REF2021意识到了院校层面的科研环境对科研活动的整体影响,在“科研环境”评估维度中增设了院校级的环境评估模板,设立了专门的试点小组来对院校级科研环境进行评估。这一做法不仅为单元级的科研环境评估提供了参考,也从战略、人员、收入等方面全面了解了高校的整体科研环境,有利于帮助高校通过比较分析找到短板,进而营造更加健康的外部科研环境。我国应注重科研环境对科研进步与发展所展现的重要作用,在开展科研环境评估时制定一套规范、科学、可操作的院校级科研环境评估指标,关注院校层面的整体科研策略,促进高校提升其在科研项目上的资金、人力以及政策等方面的投入力度与关注程度,从而通过环境评估来引导高校致力于为科研人员创建充满活力与创造力的外部科研环境。

【本文系北京市教育科学“十三五”规划2018年度重点课题“高校科研成果‘非学术影响’评估的国际比较研究”(BABA18040)的研究成果】

 

 

 

作 者

王 楠,首都师范大学教育学院、首都教育发展协同创新中心副教授,北京 100048

张 莎,首都师范大学教育学院、首都教育发展协同创新中心科研助理,北京 100048

来 源

《中国高教研究》2021年第8期“比较教育研究”栏目


终审:王伟
【打印正文】