一、评估目的
一是服务大局。贯彻落实国家研究生教育发展方针,展示我国学科发展成就,建立学科评价的中国标准和中国模式,服务研究生教育“提高质量、优化结构、鼓励特色、内涵发展”的大局;二是服务高校。通过对学科建设成效和质量的评价,帮助高校了解学科优势与不足和发展过程中不平衡不充分的情况,促进学科内涵建设,提高学科水平和人才培养质量;三是服务社会。满足社会对教育质量的知情需求,为社会各界了解和分析学科水平与质量信息提供服务。
二、参评规则与参评情况
学科评估始终坚持“自愿申请、免费参评”原则,各单位具有博士或硕士学位授予权的一级学科(含一级学科和二级学科授权),均可申请参评。为了真实反映各单位学科发展水平,基于参评单位形成的共识,第四轮评估采用了“绑定参评”规则,即:同一学科门类满足参评条件的学科须同时申请参评或均不参评(仅有“硕士二级”授权的一级学科除外)。
学科评估平均四年开展一次。第一轮评估于2002-2004年分3次进行(每次评估部分学科),共有229个单位的1366个学科参评。第二轮评估于2006-2008年分2次进行,共有331个单位的2369个学科参评。第三轮评估于2012年进行,共有391个单位的4235个学科参评。第四轮评估于2016年在95个一级学科范围内开展(不含军事学门类等16个学科),共有513个单位的7449个学科参评(比第三轮增长76%),全国高校具有博士学位授予权的学科有94%申请参评。
三、指标体系
第四轮学科评估深入贯彻研究生教育综合改革精神,按照“人才为先、质量为要、中国特色、国际影响”的价值导向,在继承前三轮评估指标体系基本框架的基础上,经广泛调研论证形成了第四轮学科评估指标体系。
(一)指标体系来源
第三轮学科评估结果发布后,学位中心进行广泛深入的调研论证工作。一是委托课题专项研究。2013年在中国学位与研究生教育学会专门设立“学科评估指标体系研究”重点课题,组织力量开展专项研究。二是深入一线广泛调研。先后在16个省市召开了18场全省范围内的指标体系调研会,当面听取了200余所高校的800余名专家、校长及40余位省市教育厅代表的意见建议。三是集中开展专题咨询。召开医学类、艺术类、农林类和国防等特色学科,毕业生质量、师资队伍评价等指标专题研讨会,听取了100多位专家的意见建议。四是吸取“代表委员”和社会人士意见。认真梳理、研究和吸收了全国“两会”代表委员和社会人士、有关媒体关于学科评估的意见建议。
(二)指标体系说明
学科评估属于水平评估,有别于政府开展的合格性评估,重点关注成效和质量。评估指标体系保持“师资队伍与资源”“人才培养质量”“科学研究水平”“社会服务与学科声誉”四个一级指标框架基本不变,共设置人文、社科、理工、农学、医学、管理、艺术、建筑、体育等9套指标体系框架,每个一级学科设置不同的权重。具体说明如下:
1. 师资队伍与资源
包括“师资队伍”与“支撑平台”两部分。“师资质量”采用“代表性骨干教师”和“师资队伍结构”相结合的方法,专家综合评价由队伍水平、结构及国际影响程度等构成的师资队伍质量。“专任教师数”主要体现师资充分性,具体评价时,通过设置上限(达到上限值不再加分)方式克服唯数量倾向。“支撑平台”反映学科的“积累质量”,主要统计国家级和省部级重点实验室、基地、中心数。根据专家意见,本轮评估人文社会学科不再单列“支撑平台”定量指标,但可在学科简介中予以充分体现。
2. 人才培养质量
人才培养是学科建设的核心任务,加强人才培养质量评价是立德树人的必然要求。本轮学科评估建立了“培养过程质量”“在校生质量”“毕业生质量”三维度评价体系,全方位评价人才培养质量。“培养过程质量”主要包括“课程教学质量”“导师指导质量”“学生国际交流”,其中“导师指导质量”通过对大规模学生问卷调查进行评价;“在校生质量”主要包括“学位论文质量”“优秀在校生”情况等;“毕业生质量”主要包括“总体就业情况”“优秀毕业生”和“用人单位评价”。其中“优秀毕业生”主要考察“代表性毕业生”职业发展质量,促进高校更加关注人才培养反馈机制;同时,首次试点开展大规模用人单位调查,将高校人才培养质量的话语权拓展到教育系统之外。
3. 科学研究水平
科研水平通过“科研成果”“科研获奖”“科研项目”方面体现;对于艺术、建筑等应用性较强的学科纳入了“创作表演”和“建筑设计”指标,以体现学科特色。“科研成果”主要考察“学术论文”“专著专利”和“出版教材”。其中,“学术论文质量”包含“扩展版ESI论文数”和“代表性论文”同行评议两个方面;同时要求代表性论文须包含一定比例的国内期刊(特别是哲学社会科学学科),以鼓励优秀成果优先在国内期刊发表。“科研获奖”除关注国家和省级政府设奖外,本次评估采纳了调研共识,选取部分在战线具有广泛共识、在行业具有突出影响的社会力量设奖,丰富了指标内涵。
4. 社会服务贡献与学科声誉
分设“社会服务贡献”和“学科声誉”两个指标。“社会服务贡献”通过各学科提供的服务经济社会建设总体情况和若干“代表性案例”,体现不同地区、不同类型单位服务社会的特色与贡献,克服“一把尺”评价的弊端。“学科声誉”由参评学科专家参考《学科简介》对学科的学术影响力和学术道德等情况进行评价。在专家组成方面,引入部分行业企业专家,并在部分理工学科试点引入海外专家评价学科的国际声誉。
四、评估程序与结果形成
为保证“严谨规范、公开透明”,第四轮学科评估按照评估邀请函的基本约定,按以下程序进行评估和结果统计。
1. 信息采集
信息采集包括“公共数据采集”和“单位材料报送”两个环节。学位中心在评估工作启动前通过国家自然科学基金委等有关部门和第三方数据提供商等获取公共数据;再通过参评学科严格按照数据填报标准提供其他评估信息。
2. 信息核实与公示
评估信息真实性是结果可靠性的重要保障。学位中心通过四个步骤核实相关信息:一是通过证明材料核查、公共数据比对、重复数据筛查等举措,对申报信息进行全面核查;二是在确保国家信息安全的前提下对部分材料进行网上公示,接受同行监督;三是将核查结果与公示异议反馈给各单位进行核实确认;四是对重点数据进行抽查,对发现问题较多的高校加大抽查核实力度。
3. 主观评价
主观评价包括问卷调查、专家评议和声誉调查三部分。一是对学生和用人单位进行大规模网络问卷调查;二是邀请同行专家对“师资队伍质量”“优秀在校生”“优秀毕业生”“学术论文质量”“社会服务贡献”等主观指标进行“基于客观事实的主观评价”;三是邀请同行专家和行业企业专家进行学科声誉调查,同时还首次邀请海外同行专家对数学、物理、化学、机械工程、计算机科学与技术、材料科学与工程等6个学科试点进行国际声誉调查。本次评估共有13000多名同行专家、23万学生和15万用人单位联系人参与了主观评价。
4. 权重确定
学位中心采用专家法和德尔斐法相结合的方法,遵循严格的程序分“三步走”确定指标权重。第一步,学位中心参考上轮指标权重和本轮评估改革理念,形成指标权重设定基本考虑和权重“初值”;第二步,召开专家研讨会,确定指标权重设定原则和权重“参考值”;第三步,在每个参评学科至少挑选一位专家(实际邀请专家近9000名),根据权重设置原则和“参考值”给出各自的建议权重,学位中心通过求平均得到95个学科的最终权重。
5. 结果产生
学科评估采用“客观评价与主观评价相结合”的指标体系。一是客观指标,经数据全面核查和修订后,按照“线性规划法”计算得到各末级指标得分。对于专任教师数、授予学位数等规模指标设置上限,达到上限值则得分相同;对于省级奖励,将不同省市的设奖总数与研究生培养规模进行标准化处理。二是主观指标,分别邀请同行专家与行业专家、在校学生、用人单位对不同指标分别进行评价,得到各末级指标得分。然后再根据指标权重加权得出二级指标、一级指标和整体水平得分。
6. 结果公布
第四轮评估结果按照“精准计算、分档呈现”的原则公布。根据“学科整体水平得分”的位次百分位,将排位前70%的学科分为9档公布:前2%(或前2名)为A+,2%~5%为A(不含2%,下同),5%~10%为A-,10%~20%为B+,20%~30%为B,30%~40%为B-,40%~50%为C+,50%~60%为C,60%~70%为C-。考虑到科研院所等单位的特殊性,按惯例仍与高校评估结果分别呈现。同时,首次对外公布我国学科建设主要成就,以展示十八大以来我国学科建设的蓬勃发展。
为促进高校全面了解学科建设整体情况,本轮评估首次为参评高校提供“学科优秀率”(即A类学科占全校博士硕士授权学科数的比例),以帮助学校发现学科布局问题,警示“摊大饼”式盲目扩张。
7. 咨询服务
通过学科评估,学位中心建立了我国目前最精准、最完备的学科大数据库,体现了我国学科建设的重大进步,特别是十八大以来取得的巨大成就。学位中心将按评估初衷进行多类型、深层次的数据挖掘,为各级政府、参评单位提供多元化的学科分析研究报告,统计学科核心指数,揭示学科发展规律,展现学科发展成就,为促进学科内涵建设提供服务。