PhotobyPlushDesignStudioonUnsplash.
苏金燕(中国社会科学评价研究院,北京,)
[摘要]
[目的/意义]针对同行评议与影响因子在期刊评价中的争议，对两种期刊评价方法得出评价结果的关系进行分析，客观认识两种方法的相关性和差异性，以便更好地设计评价指标，开展评价工作。[研究设计/方法]以人文社会科学33个学科共计1,种期刊为统计样本，采用调查问卷形式由专家对这些期刊进行同行评议，然后对同行评议与期刊即年影响因子、影响因子和五年影响因子的相关性做比较分析，并对学科、期刊载文量、创刊时间长短等因素对两者相关性影响进行分析。[结论/发现]同行评议和影响因子两种方法对期刊进行评价时，两者得到的评价结果具有较高的一致性，社会科学领域的一致性高于人文科学领域；同行评议结果与即年影响因子、影响因子和五年影响因子的一致性依次递增；同行评议专家更愿意给载文量少的期刊打高分，但载文量和期刊影响因子之间的相关性不大。[创新/价值]用4,多份专家调查问卷，以定量统计分析的方法对同行评议与期刊影响因子两者在期刊评价中评价结果的一致性进行研究。
[关键词]
期刊评价同行评议影响因子人文社会科学定性评价定量评价
1引言
年5月17日，习近平总书记在哲学社会科学工作者座谈会上指出，“要建立科学权威、公开透明的哲学社会科学成果评价体系，建立优秀成果推介制度，把优秀研究成果真正评出来、推广开。”[1]年2月、5月和7月，中共中央办公厅、国务院办公厅相继印发了《关于分类推进人才评价机制改革的指导意见》《关于进一步加强科研诚信建设的若干意见》和《关于深化项目评审、人才评价、机构评估改革的意见》。年11月，中央全面深化改革委员会第五次会议审议通过了《关于深化改革培育世界一流科技期刊的意见》。这些政策文件直接或间接地对期刊评价提出新要求，指出在开展评价时要充分发挥同行评议的作用，论文引用榜单和影响因子排名等仅可作为各类评价的参考，要着力解决评价标准“一刀切”问题。
期刊评价结果被广泛使用又存在争议。大学排名、项目审批以及个人晋升等科研活动或多或少地依赖于期刊评价结果，“学术界和学术期刊界与评价机构的‘缠斗’已不下二十年”[2]。一方面，科研人员意识到期刊评价所带来的益处，其发表学术论文所在期刊的排名是其向同行展示实力的有效方法，是申请项目的研究基础，特别是当遇到不是特别熟悉自己研究领域的大同行时，所发表期刊的排名成为大同行判断的一个重要依据[3]。目前有很多科研机构针对期刊评价的级别制定相应奖励政策，让这些学者成为直接利益受益人。对于学者来说，更愿意阅读排名靠前期刊上的文章；对于期刊编辑来说，期刊排名又成为其参考选题、遴选编委、审稿专家以及甄别投稿作者的一种方法。同时，期刊评价也成为图书馆收录期刊的重要依据。另一方面，期刊评价又被很多人所诟病。有的科研机构开始规定，必须发表在指定期刊列表上的论文才算数，这导致很多科研人员不得不去争抢有限的期刊资源，但期刊排名方法是否科学合理、评价结果是否可靠可信都成为争论的焦点。无论如何看待期刊评价，期刊评价在有形无形地影响着科研活动。
期刊评价过程中，有两种最常用的方法，一是依赖于专家问卷的定性评价方法[4,5]，二是依赖于论文被引次数的定量评价方法[6]。一方面，有很多学者认为以这两种方法对期刊进行评价后得出的评价结果一致性较差，例如Hodge等在年以25种社会工作领域的期刊为样本，采用定性方法（专家问卷）和定量指标（5年影响因子和H5指数）计算对期刊进行排名后发现两者存在较大差异，专家问卷排名第1的期刊用定量指标排名时仅列25种期刊中的第13位[7]；Kao等在年以我国台湾出版46种管理学期刊为样本用两种方法进行了期刊排名，发现两种方法得出的排名结果截然不同，46种期刊中只有1种期刊采用两种评价方法的排名相同，超过一半的期刊排名结果有很大差异［8］。但也有学者却研究发现两种评价方法得出的评价结果有较强的相关关系[9]。我国学者对同行评议与文献计量在科研评价中的作用分析做了比较，发现无论是在学术论文的发表、科研项目经费资助审批还是在学科发展态势评估与研发评价实践中，采用定性、定量两种方法得出的评价结果有的非常一致，但有的差异很大[10]，有学者认为同行评议和科学计量优点鲜明，但各自又有难以克服的局限性[11]，甚至有学者直接提出“量化评价扼杀人文学术”[12]。
作为期刊评价的两个重要方法，同行评议方法得出的评价结果与影响因子方法评价得出的结果关系到底如何？两者会得出相似的评价结果还是会得出截然相反的评价结果？期刊评价中同行评议结果与影响因子结果之间的相关性究竟如何，即为本文要讨论的问题。
2期刊评价方法特点
期刊评价主要有定性评价和定量评价两种方法。期刊的定性评价方法基本是指同行评议，而专家调查问卷是同行评议的重要方法。期刊的定量评价方法有很多，而影响因子一直是期刊定量评价的重要指标。因此，本文采用专家调查问卷法采集到的期刊打分数据代表同行评议数据，期刊的即年影响因子、影响因子和五年影响因子作为影响因子类指标的定量数据，采用“期刊影响因子”代表三个影响因子类指标。下面首先对定性、定量两种方法的特点进行分析，为本文设计实验方法提供支撑。
2.1同行评议专家调查问卷法的特点
期刊评价的专家调查问卷方法，即请特定的研究人员针对评价期刊名单按照规定的标准进行打分。这种方法集中了特定研究人员对期刊的判断，但同时也存在一些缺点[13]。（1）每个期刊的打分成绩比较主观，它很大程度上受到打分者主要研究领域的影响[14]；（2）存在熟悉程度偏差，如果打分者因为某种原因熟悉所评价的期刊，则会倾向于给这个期刊打高分而不是单纯地因为这个期刊的质量高[15]；（3）专家通常需要较长时间才能更新对一个期刊的认知，他们对期刊进行打分时，也会受到以前期刊排名的影响，对于以前未曾出现在期刊排名列表中的期刊或者新创办的期刊，通常会给予较低分数；（4）专家对期刊进行打分时，可能受到内部制度的影响，例如可能对其所在机构制定的发文期刊目录中的期刊刻意打高分或者低分；（5）期刊的质量和声望是专家评判期刊的重要标准，但是这也影响了不同学科、领域期刊打分的可比性；（6）打分的专家毕竟是经过一定原则遴选出来的，他们很多时候也是期刊排名的直接利益相关者。此外，专家打分甚至受到人口社会学因素，如研究领域、教育背景、学术年限、所处地区或机构，甚至性别的影响。
2.2期刊影响因子法的特点
以计算期刊被引次数为主要算法的期刊影响因子类指标，如即年指标、影响因子、五年影响因子、H指数、G指数、HC指数等，降低了专家调查问卷法的主观性影响，但是这种方法也有一些不合理的地方。（1）期刊自引会影响各类影响因子类指标的计算，尽管自引行为本身就是一个比较复杂的行为，受到文化等因素的影响[16]，但在一些不道德甚至极端的例子中，有些期刊编辑会要求作者引用自己期刊上的论文，影响因子偏低的期刊自引率反而偏高[17]；（2）由于期刊引文数据库建设的不完善性，或者作者对论文参考文献著录的不准确性，都会导致期刊引文数量的计算错误；（3）有时候期刊的高影响因子是因为期刊中的个别高被引论文引起的，但这也导致过高地评估了该期刊的平均论文水平；（4）当一个期刊刊发的论文属于小众或者绝学时，由于研究群体较小，导致引用数量不高，因此无法用引文数量来测度这些期刊的水平；（5）刊龄的长短会影响期刊的被引次数；（6）论文题目的长短、题目中使用的冒号、破折号以及缩略语等也会影响论文的被引数量[18]。
3样本数据与计算
对同行评议和期刊影响因子的相关性进行研究，科学合理地选取研究样本很重要。本文的研究样本涉及期刊样本和专家样本。
3.1同行专家样本的选取与计算
3.1.1同行专家样本选取
为提高专家样本的科学合理性，本研究构建了三个不同层面的专家样本。第一个层面为“专家委员会”，其遴选原则是[19]：各学科专家委员会成员尽量覆盖所有的二级学科，平衡专家的机构分布与地域分布，兼顾老中青各年龄层次学者，注意学科专家和编辑专家的结合，每个学科中同一个单位的人员尽量不超过两人。根据遴选原则，人文社会科学的33个学科共遴选出位专家，其中公开公布了29个学科的位专家，另有4个学科的专家未对外公布。第二个层面为“推荐专家”，由专家委员会委员、所评期刊编辑部等推荐产生，其中每个专家委员可以推荐10人，每个期刊编辑部可以推荐30人。最终遴选出“推荐专家”5,人。第三个层面为“评阅专家”，共1,人，只要是人文社会科学领域的科研人员、管理人员即可，包括在读博士研究生及期刊管理等单位的管理人员。
3.1.2同行专家打分方法
每位专家在33个学科子类中最多可选择4个学科子类进行打分，即在31个非综合类中最多可选择2个学科子类，在综合类的2个学科子类最多选择2个进行打分。由于有的学科子类的期刊数量较多，如高校综合性学报类有种期刊，为避免“晕轮效应”而影响专家打分结果，对于期刊数量超过50种的学科子类，均采用3种期刊排序方式供专家打分；对于数量超过种的学科子类，在对期刊进行分组（每组期刊数量不大于种）的基础上进行分组排序打分。这三种期刊排序分别是按照期刊名称音序升序排列方式、按照期刊名称音序降序排列方式和按照期刊名称笔画排序方式进行排列。
共邀请名学者以现场座谈并填写纸质调查问卷方式在年6月至9月对期刊进行了打分，回收有效纸质问卷份。另邀请5,名学者于年9月28日至10月15日在问卷星平台[20]集中对期刊进行了打分，共回收有效问卷4,份。两种方法共回收有效问卷4,份作为本文分析用数据。在专家打分时，同时采集专家的年龄、性别、学历、职称、工作单位等人口社会学基本情况，见表1。专家调查问卷采用李斯特量表法，设“不了解”（0分）、“不合格”（-5分）、“基本合格”（2分）、“中等”（3分）、“良好”（4分）和“优秀”（5分）共6个选项进行打分。
3.2期刊样本的选取与计算
3.2.1期刊样本选取
截至目前，原国家新闻出版广电总局共发布了两批学术期刊名单，其中人文社会科学学术期刊有2,多种[21,22]。本文以中国社会科学评价研究院自建的中国人文社会科学期刊引文数据库（CHSSCD）①为基础，共遴选出1种②人文社会科学学术期刊为本研究的期刊样本[23]。期刊样本遴选原则如下：均为年及以前创办的期刊，均为原国家新闻出版广电总局公布的学术期刊列表中的期刊，尽量涵盖“三大核心”③中的所有核心期刊，即“三大核心”所列核心期刊的并集。
为使得专家对期刊打分时更有针对性和可操作性，将这1,种期刊划分为3个学科大类、23个学科类和33个学科子类，分类依据详见文献[24]，各类期刊数量详见表2“期刊数”项。其中第一大类侧重人文学科类期刊，包括考古文博、历史学、马克思主义理论、民族学与文化学、文学、艺术学、语言学、哲学和宗教学共计9个学科类、10个学科子类。第二大类侧重社会科学类期刊，包括法学，管理学，环境科学，教育学，经济学，人文地理学，社会学，体育学，统计学，图书、情报与档案学，心理学，新闻学与传播学和政治学共计13个学科类、21个学科子类。第三大类侧重综合类期刊，共计1个学科类、2个学科子类。
各期刊学科类的划分步骤是：首先，参考《中国图书馆分类法》、期刊CN号（国内统一刊号）、期刊论文分类号等对期刊进行粗分类；其次，参考CNKI（知网）、万方数据平台等期刊数据库对期刊的分类进行修订；第三，参考“三大核心”对期刊分类进行调整；第四，请相关专家把关，核查分类中出现偏差的期刊；第五，请各期刊编辑部申报、核实其期刊所属学科类；第六，公示期刊名单及分类，接受学术界反馈意见[25]；第七，汇总分类意见，确定期刊分类。
3.2.2期刊影响因子计算
影响因子是期刊定量评价的常用方法，本文采用即年影响因子、影响因子和五年影响因子三个指标作为与专家调查问卷打分进行对比的定量指标。这三个指标采用中国社会科学院中国社会科学评价研究院自建的中国人文社会科学引文数据库（CHSSCD）中的数据进行计算，该数据库共收录了1,种（含本次1,种期刊）人文社会科学学术期刊，其中种期刊有—年的引文数据，另外1,种期刊有—年的引文数据。
计算这三个指标的发文窗口是—年，引文窗口是—年。即年影响因子的计算方法是“期刊在年发表的论文在年被引的次数与该刊在年发表的论文数之比”，影响因子的计算方法是“期刊在年前两年发表的论文在年被引的次数与该刊和两年发表的论文数之比”，五年影响因子的计算方法是“期刊在年前5年发表的论文在年被引的次数与该刊前5年发表的论文数之比”。
4同行评议与期刊影响因子的关系
年9月28日至10月15日，共4,位专家对人文社会科学领域33个学科子类的1,种期刊按照李斯特量表进行了13,人次的打分。虽然前面将打分专家划分成专家委员会委员、推荐专家和评阅专家三个层面，由于篇幅关系，此文中计算专家打分时未对专家身份进行区分，即每个专家的打分都是一样的权重。下面以综合类中的“综合社科期刊”为例来进行分析，综合社科期刊类共包括83种期刊，其中专家打分前10名的期刊情况见表3，其他32个子学科类也是按照表3的方法打分、计算、排序并划分等级。
对33个子学科类按照四种方式（PR、IF1、IF2、IF5）打分、计算并划分等级后，利用SPSS中的KS正态分布检验发现，所有结果均不符合正态分布（p0.01），所以后续分析均采用非参数统计方式。
4.1同行评议与期刊影响因子相关性
首先，利用1,种期刊对两种期刊评价方法的相关性做总体分析，PR与IF等指标的相关性如表4所示。
从表4可以看出，专家调查问卷得到的同行评议结果（PR）与定量评价结果（IF1、IF2、IF5）做斯皮尔曼等级相关检验后发现，两两之间均显著正相关（p0.01）。也就是说，同行评议结果与定量评价结果具有高度一致性，同行评议结果靠前的期刊其定量指标得分也高，反之亦然。PR与IF1、IF2、IF5的相关系数逐渐增加，与IF1的相关系数为0.，为强相关，与IF2、IF5的相关系数分别为0.和0.，相关性为极强相关。
接下来从学科大类角度分析两种期刊评价方法。按照表2将1,种期刊分成人文、综合、社科三大类，对专家调查问卷打分的同行评议情况与3个定量指标（即年影响因子、影响因子、5年影响因子）进行比较，同时加入采用综合评价方法得出的AMI打分、等级情况进行对比分析，如表5所示。
三大类的同行评议结果（PR）与定量评价结果（IF1、IF2、IF5）做斯皮尔曼等级相关检验后发现，两两之间均显著正相关（p0.01）。也就是说，同行评议结果与定量评价结果具有一致性，同行评议结果靠前的期刊其定量指标得分也高，反之亦然。用PR与IF5做曲线拟合如图1所示，人文、社科、综合三大类线性、二次均通过检验，其中线性拟合方程分别如下：
人文y=-0.+0.x
社科y=-0.+0.x
综合y=-0.+0.x
4.2学科影响下的同行评议与期刊影响因子相关性
从大类角度看PR与IF类指标的相关性（见表5）。PR与IF1在人文大类的相关系数为0.，是中等强度相关，两者在综合（0.）和社科（0.）均为强相关。从PR与IF2的相关性看，人文、综合、社科的相关系数分别是0.、0.和0.，也是依次增强。PR与IF5的相关性（0.、0.和0.）得出同样的结论。由此可知，人文、综合、社科三大类中，社科大类同行评议结果与定量指标结果具有最大的趋同性，推断社科大类的学者对于期刊评价的定量指标结果具有最大的认同度。人文大类的学者对定量指标的认同度较社科大类学者低。综合期刊，由于人文、社科的学者均可以参与打分，所以得出了介于人文、社科两者之间的结果。
从学科子类角度看（见表6），人文大类中考古文博学科的专家调查问卷打分与期刊影响因子的一致性最高，其次是语言学，艺术学的人文大类中专家打分与期刊影响因子的一致性相对较弱。社科大类中，法学专家的调查问卷得分与影响因子类指标的一致性最高，其次是图书馆、情报与档案学，国际政治学专家打分与期刊影响因子的一致性相对较弱。综合期刊介于人文与社科之间。
从学科角度来看（见表6），在33个学科子类中，心理学、统计学两个学科的PR与IF1、IF2、IF5之间均不存在显著相关关系，即同行评议的专家调查问卷得分与期刊的即年影响因子、影响因子和五年影响因子之间没有明确关联，这可能和这两个学科子类的期刊数量太少有关，心理学有9个期刊，统计学有6个期刊。另外，外国文学（7种）、宗教学（8种）、环境科学（9种）、世界经济（10种）和世界经济（12种）5个学科同样因为期刊数量较少，导致同行评议打分和期刊影响因子指标在不同程度上相关性不显著。另有财政学（17种）和马克思主义（21种）两个学科的同行评议得分也均与三个影响因子类指标中的一个指标不相关。除期刊数量影响外，到底是什么原因导致这种不相关，均有待进一步研究和验证。
4.3时间窗口下的同行评议与期刊影响因子相关性
从总体上看，PR与IF1、IF2、IF5的相关性随着时间窗口，即期刊影响因子计算的时间长短的增长而增强（见表4）。从学科大类角度看（见表5），社科大类PR与IF1（0.）、IF2（0.）、IF5（0.）的相关系数依次增强，为强相关和极强相关。从综合大类PR与IF1、IF2、IF5的相关性分析得出相同的结论。对于人文大类来说，PR与IF2的相关性（0.）明显大于与IF1（0.），PR与IF5的相关性（0.）也明显大于与IF1（0.），虽然与IF5的相关性（0.）略低于与IF2（0.）的相关性。
但是从学科子类来看，有几个学科的PR与IF类指标的相关性却随着时间窗口的增长而减小，例如哲学的PR与IF1、IF2和IF5的相关系数分别是0.、0.和0.，依次下降；艺术学的PR与IF1、IF2和IF5的相关系数则分别是0.、0.和0.，也是依次下降。另外还有历史学和国际政治两个学科，PR与IF类指标的时间窗口无确定的关系，例如历史学PR与IF2指标的相关系数（0.）最高，大于与IF1（0.）、IF5（0.）的相关系数，这与最初的预期存在较大差异。通常情况下，认为历史学的引文半衰期较长，历史学领域的学者更易“历史”的看问题，更易受期刊论文的长期、持续效果的影响。国际政治学者更注重一个期刊发文的时效性，因此PR与IF1的相关系数（0.）大于与IF2（0.）和IF5（0.）的相关系数。
4.4期刊载文量与同行评议和期刊影响因子的相关性
总体上看，期刊载文量（JPN）与同行评议（PR）之间没有确定的关系所示，PR与JPN之间未通过显著性检验（见表4）。从三个学科大类看，期刊载文量与人文大类的同行评议的相关系数是-0.，通过p0.05的显著性检验，具有明确的负相关关系（见表5）。在综合大类中，期刊载文量与同行评议的结果也是明确的负相关关系。也就是说，在人文大类的期刊及综合类期刊中，学者认为这些期刊发文量越大则质量越差，期刊的评价得分越低。有学者认为，期刊载文量越大则被学者看到的机会越多，那么在同行评议中就越容易得高分，从这个研究结果来看，这种观点在人文领域是错误的。但是，在社科大类中，期刊载文量与同行评议结果虽然通过了显著性检验，有明确的正相关关系，但是相关系数非常小（0.）。人文、社科两个领域的学者对期刊载文量与期刊质量的关系是持相反观点的。
从期刊载文量与期刊影响因子的关系来看，人文领域期刊的期刊影响因子高低与其载文量两者不相关，未通过显著性检验（见表5）。对于综合期刊，期刊影响因子与载文量之间也没有明确的关系。也就是说，期刊载文量的多少与期刊影响因子没有关系。但是在社科领域，期刊影响因子与载文量呈正相关关系，IF1、IF2和IF5与载文量的相关系数分别为0.、0.和0.，通过p0.01水平的检验。
4.5刊龄与同行评议和期刊影响因子的相关性
总体上看，创刊时间长短，即刊龄与同行评议之间存在较弱的正相关关系，相关系数为0.（见表4）。从三个学科大类角度看，无论是在人文还是社科领域，即使是综合期刊，创刊时间长短也与同行评议结果具有明确的正相关关系，刊龄越长则越容易在同行评议中得到高分（见表5）。
总体上看，刊龄与期刊影响因子之间也存在一定的正相关关系（见表4），特别是在社科和综合大类中，刊龄与IF1、IF2、IF5均正相关，但在人文大类中，虽然刊龄与IF1、IF5两个指标通过了显著性检验，但与IF2的相关性不明确（见表5）。
5启示
本研究的目的是比较人文社会科学期刊同行评议与期刊影响因子两种方法的相关性，并对学科、载文量、刊龄等因素对两者关系的影响进行分析。本文共有4,位专家对1,种期刊以调查问卷形式进行了打分，即年影响因子、影响因子和五年影响因子采用的是—年的数据。通过上面的研究，得到以下启示。
（1）采用同行评议方法对期刊进行评价时，专家更倾向载文量少的期刊，期刊每期的载文量越大则专家打分越低，尤其是人文科学领域。
（2）进行期刊评价时，人文科学领域的同行评议结果与期刊影响因子结果的差异性远大于社会科学领域，因此在进行人文科学领域期刊评价时，要更加注重同行评议的作用。
（3）虽然同行评议和期刊影响因子得出的评价结果具有一致性，但是在个别学科、个别期刊的打分上仍然存在较大差异，所以在进行期刊评价时，两种方法应结合使用，而不是采用单一方法。
（4）同行评议结果与即年影响因子、影响因子和五年影响因子的一致性依次增加，因此在采用影响因子进行期刊评价时，要适当增加五年影响因子指标的使用，甚至更长时间窗口引文数据的计算。
（5）创刊时间长短对同行评议和期刊影响因子都存在一定影响，不能及时反映出新刊的表现，因此在期刊评价时要