社会科学学术论文生产力评价的新视角

　　近年来，加强和改进社会科学研究的评价，已经成为一项得到社会科学研究利益攸关方普遍认同的共识，国家有关部门也出台了_系列政策推进科研评价体系的改革。尽管在具体应当如何加强和改进的问题上众说纷纭、莫衷一是，但对于改革的基本方向或基本追求，绝大多数人还是达成了一定的共识：第一是客观，这些年来，虽然对SCI、SSCI、A&HCI、CSSCI等引文数据库评价作用的争论一直不绝于耳，但人们都肯定，它们所体现或者追求的客观评价必须坚持，我们固然要对客观评价所包含的非意识形态化可能性有所警惕，但更应当注意到非学术化评价的沉渣泛起，以批判中立主义之名，退回到行政评价的老路；第二是质量导向，即坚持学术评价的学术属性，努力透过现象看到本质、超越数量把握质量，以科研成果的质量及其内涵为评价目标；第三是分类评价，即根据学科领域、机构类型、生产者构成等标准合理分类，让可以比较的同台竞技，避免无意义的简单量化比较;第四是中国特色，即应当找到符合中国国情的评价体系，反对照搬照套国外标准，但同时也必须警惕以符合国情为名拒绝改革甚至反对改革的倾向。

　　作为科研服务的从业人员，我们一直在探索符合时代要求的社会科学学术论文生产力评价体系，为了积极参与构建多元化的学术评价体系，推动社会科学研究评价的创新发展，在充分吸收借鉴国际国内相关体系经验的基础上，我们提出了创建C1m指数的构想并进行了初步测试，取得了较为理想的效果。现将我们的观念、方法及初步测试结果向学界同行进行报告，以期发挥抛砖引玉的作用。

　　一、C1M指数：是什么及为什么

　　所谓C1m指数，简单地说，就是以特定的时间段（一年或多年）在中国大陆最具影响力的人文社会科学学科期刊群（100种左右）发表的论文为基础，为衡量不同研究机构的科研生产力而设计出来的指标体系。作为一种新创设的指标，C1M指数期望能在科学的评价理念的指导下，遵循学术研究的内在逻辑探究科研生产力评价的核心指标，构建科学的评价体系，为学术评价提供丰富的客观数据。它希望“看得”更全，即对科研机构所涉及的各个学科领域的科研生产力状况均进行全面反映；“看得”更准，即从学科和生产者的角度对科研机构生产力的构成进行分析测量；“看得”更远，即基于科研生产力中的生产者构成对科研机构的科研生产力的未来发展趋势进行展望。总之，C?指数是一种基于大数据的更灵敏的指标体系，可以更全面、更细致、更具前瞻性地对科研生产力进行质量评估。

　　那么，我们为什么会提出建构C?指数体系呢？

　　首先，构建C?指数体系是在探索有中国特色的学术评价体系、推动中国学术走向世界的进程中的一个创新性尝试。回顾历史，我们可以看出“中文社会科学引文索引（CSSCI)”的创建是推动中国学术走向世界的_个早期成果。15年来，我们始终积极探索与时倶进的、具有中国特色的学术评价体系，在期刊分类、学科布局、来源遴选、指标体系等方面对CSSCI引文数据库进行了全方位的中国化改造，获得了社会各界越来越广泛的认可。近年来，随着中国哲学社会科学研究的不断繁荣发展，我们愈发强烈地感觉到，无论是科研评价还是科研服务都必须“升级换代”必须紧跟国家科研体制改革的步伐相应地进行自身的改革，实现从简单数量评估到以成果内涵为中心的质量评估的转变，影响力的评估也必须从简单的数量比较向精细化方向发展。具体地说，我们必须从粗放的量化指标转向精细化的数据统计分析，从期刊、机构、学科、生产者构成等多个维度来反映学科的质量结构和发展的态势。C?指数就是我们顺应时代发展趋势努力进行创新的一个新成果。它首先是_个质量指标，因为高影响力期刊严格的审稿制度保证了统计源论文的较高质量水准；它也是一个多维度指标，能够深入期刊、学科、机构、生产者的全方位反映高校和科研机构在高影响力的学术出版平台中所处的位置；它还是一个发展指标,通过生产者的构成状况展示高校和科研机构在学术梯队、新生代学术领军人才、学术后备力量等方面的可持续发展状况。我们希望通过它的建构，推动中文社会科学学术论文生产力评价体系的构建，以推动中国学术进一步走向世界，确立世界学术体系中的中国话语权。

　　其次，这是为了回应和满足学术界对我们的数据库建设与评价实践的新需求。我们认为，学术能力（科研生产力）是检验学术机构社会服务能力的重要基础指标。经过改革开放后30多年、特别是国家哲学社会科学繁荣计划开展10年来的发展，中国大陆高校和科研机构在人文和社会科学领域的生产力已经获得有目共睹的巨大提升。因此，如何科学、合理、客观、公正地反映高校和其他科研机构的学术成果的质量和水平，继而合理公平地分配科研资源，就成为国家和学术界关注的热点问题，也是摆在教育评价机构和评价人员面前的一项非常重要而紧迫的任务。作为从事科研服务的专业机构，我们深知自己有责任也有义务积极参与这一新任务的完成。自1998年创建以来“中文社会科学引文索引（CSSCI)”数据库已经收录了中国大陆出版的500余种学术期刊时间跨度长达15年的逾百万篇学术文献和千万级的引文记录。在这个背景下，构建一个普适性的指标体系，采用统一的质量和影响力模型来反映高校科研机构的研究状况和比较优势，为高校和科研机构的自我评估和发展路径的设计提供一个新的视角，推动学术研究水平和产出能力的共同提升，已经成为一个必然的选择。

　　最后，“自然（Nature)，’出版集团向全球科学界成功推出的“NatureIndex”指数给了我们有益的鉴。“NatureIndex”指数是“自然（Nature)”出版集团推出的一项创新产品。其核心理念是基于全球自然科学领域68种重要学术期刊上发表的研究成果，测量全球范围内各个国家地区和各大科研机构的某一时段的科研发展水平。该指数一经推出，就在全球范围内产生了巨大而积极的反响。它的成功让我们意识到：学术期刊是现代学术发展的产物，是学科前沿成果的重要发表载体，在引领学术创新和学术评价中有着不可替代的重要作用。中国的学术期刊自改革开放以来经过了30多年的发展，已经为哲学社会科学的繁荣发展作出了重要贡献，在此过程中，_批高水平学术期刊树立了较高的公信力和较高的学术影响力，成为传播中国人文社会科学高水平学术成果的最主要的学术平台。在此背景下，依托体现国家科研能力和创新水平的高水平学术期刊构建C100指数体系，对中国社会科学研究的科研能力进行评价，是完全可行的。

　　必须强调的是，作为一种创新性尝试，C1M指数目前尚处于实验阶段，还未经过大规模数据的反复验证。在这种条件下，我们认为，需要对它的目的和功能有一种理性清醒的认识：第一，它的创新还在路上，指数的编制者将根据学术界的反应不断改进理念和方法，以使之更加准确地反映学术生产的实际；第二，使用者应当正确认识C1m指数所客观反映的学术生产力状况以及映射出的问题，正确认识C1m指数的普适性，不应过分强调个别学科和机构的稀缺性或者特殊性，甚至以偏概全，力图彻底抹杀这种客观指标体系；因而，第三，使用者们应当以一种超越性的眼光看待C1m指数的统计结果，数据是客观存在的，不能谈量色变，关键是要坚持实事求是，通过科学的数量分析方法去衡量质的水平，思考统计指标背后所反映的问题及其原因，借助C100指数的统计结果，通过经验实证准确把握机构自身优势和不足之处，进一步分析自身的比较优势；第四，作为学术共同体成员，学术生产的利益攸关方都可以参与到C1m指数体系建设中来，以各自的方式推动它的不断完善和发展。

　　二、C100指数：构建原则

　　学术生产力评价涉及的内容很多，因此在构建C?指数体系时既要全面又要尽可能涉及较多的方面，既要抓住生产力评价的核心内容，又要能够由此把握未来学术发展的趋势，基于此，大数据、可持续是构成指标体系的核心部分。众所周知，某种学术评价体系一旦形成并被普遍使用，就会在不同程度上与学术的行政管理体系发生联系，为后者所用。但我们必须清醒地认识到，科研生产力评价体系的构建本身是一项科学研究工作，因此，在构建该体系时，必须坚持和遵循科学性原则，警惕非学术因素的过早介入甚至干涉，也必须遵从学术研究的内在逻辑。具体地说，我们必须坚持以下原则：

　　1.整体性原则。影响科研生产力的因素很多，因此构建生产力评价体系时必须对生产者、研究成果、传播载体等各项因素进行不同角度的全方位考察，要想准确把握科研机构学术生产力的发展状况，既不能粗略地根据研究成果数量和期刊的行政级别进行评价，也不能仅仅根据生产者的身份地位进行评价，而应当从整体性的角度进行全面的评估。这样，才能科学地反映评价的对象，才能正确地表达评价的目的。应尽可能地把某_方面的需要与其他方面的需要，局部的、暂时的需要和整体的、长远的需要，低级的需要和高级的需要等协调起来，并以此作为标准去评价事物，全面、准确地把握事物的价值。

　　2.客观性原则。在选择评价指标时，明确所有评价指标所反映的内容，确保指标的含义清楚，指标的相关数据客观可靠，排除非学术因素特别是人情因素的干扰。

　　3.可比性原则。任何评价的目的都是为了比较，因此指标体系的设计必须做到同类型的不同机构之间具有可比性，包括纵向的可比性与横向的可比性。前者是从时间轴上把握某个研究机构的发展趋势，或者某个学科的布局演变；后者是为了实现同类型的不同机构之间的互相比较。

　　4.可操作性原则。“大道至简”一个逻辑统_、指标简明、构架明确、易于理解的指标体系将有助于更好地实现评价的目的。追求面面倶到往往容易导致逻辑混乱甚至逻辑冲突，繁复华丽的指标体系则更容易让人眼花缭乱、难以适从。同时精选指标不仅能够保证更好的数据可得性，而且清楚明确、操作性强、可比度高，也便于管理。

　　5.动态性原则。这一原则要求我们根据学术发展的实际状况适时对指标体系进行调整，同时也必须根据期刊界的动态对统计源进行适时的调整。从理论上讲，其他出版形态包括学术图书以及学术集刊的相关数据也是可以纳入统计源的，至于是否需要纳入、如何纳入，以及何时纳入，都应当根据学术发展的实际需求而定。

　　三、C100指数：框架和内容

　　作为中文社会科学学术论文生产力评价体系的核心，C1m指数所指向的研究对象是国内社会科学研究领域成果产出较多的高等学校和科研机构，通过对C?期刊当年或多年刊载的学术论文或综述进行统计，来反映学术机构以某一特定学术期刊群为载体的学术生产力现状，并通过研究人员的年龄结构对机构的生产力构成状况进行准确反映。它可以提供国内高校和科研机构有关社会科学生产力状况的可比信息，学界可以从学术发表角度对当前社会科学研究状况有更深入的了解。就此而言，它是一个科学研究的“观测指数”。

　　C100指数体系有三个要素：组成C?学科群的期刊、研究机构、生产者。因此我们按照如下程序和步骤建构C1m指数：

　　1.C100期刊群的确定。来源数据的权威性决定了评价结果的权威性和公信力。C1m期刊的遴选基于“中文社会科学引文索引（CSSCI)”长期以来形成的影响力，主要是利用CSSCI数据库自动生成的长期文献计量指标进行统计分析而自动筛选出来的。在此过程中，我们着重考虑了以下五个因素：一是数据来源的稳定性。确定C1m期刊是以期刊在所处学科的长期影响力状况为主要考察指标，本次测试中C1m期刊群的确定主要依据期刊近10年（2003—2012年）的影响力指标，其结果与国内最具权威的同行评议成果——“国家社科基金资助期刊目录”①具有极高的吻合度。二是数据来源的合理性。以2013年C1m期刊为例，从论文学科角度进行观察，C?期刊涉及的学科覆盖面完整，提取的文献数量是CSSCI年度收录量的16.2%,各学科收录文献量和CSSCI各学科总收录量之比在15%—28%之间；从机构的构成角度来看，C100期刊覆盖的机构较为广泛，论文作者机构涵盖了中国大陆近4000个机构以及美国、日本、英国、法国等多个国家和地区的科研机构。三是数据来源的代表性。以2013年C?期刊为例，测试选取的111种期刊刊载的论文数量占CSSCI当年收录总量的16.2%,而C?期刊群的总被引频次为CSSCI引用频次（期刊部分）的60%左右。四是数据来源的规范度。所有数据来源于“中文社会科学引文索引（CSSCI)”来源期刊数据库中经过标引的数据，严格的质量标准和规范保证了数据和源刊的信息一致；高校机构名称按照教育部公布的最新高等学校名单进行规范，中国科学院、中国社会科学院等机构的下属科研院所根据其网站公布的最新机构信息进行规范，研究人员的同名问题也通过其标注机构和论文名称进行了统一规范。五是数据来源的公开性。C?期刊所有文献数据均可以自公开途径获得，并可以通过网络或其他途径进行核查。

　　2.C100指数的指标选择及定义。C?期刊确定后，会自动生成大量数据。我们只有找到那些能够反映客观规律的指标，才能化繁为简，进而透过现象发现本质。总的说来，我们认为C?指标的选择应基于学术期刊对学术论文的质量评价而形成对质量和高下的各种评价指标的认识。根据这个基本原则，我们设计的C100指标体系包括四个维度：期刊、机构、学科、研究人员。排名表也分为三个层次：机构总排名、学科总排名、C100指数排名。我们对上述指标及相关概念的定义如下：

　　研究院等研究机构设置为独立机构进行统计，中国社会科学院以所（含同级的研究院、研究中心或其他机构）为单位进行统计（所属期刊社也合并统计）,地方社科院以院为单位进行统计。

　　学科：学科分类标准根据国家标准《学科分类与代码（GB/T13745-2009》中21个人文社会科学一级学科进行分类统计，其中文学分为外国文学和中国文学两个学科。具体为：管理学、马克思主义、哲学、宗教学、语言学、外国文学、中国文学、艺术学、历史学、考古学、经济学、政治学、法学、社会学、民族学与文化学、新闻学与传播学、图书馆文献与情报学、教育学、体育学、统计学、心理学。

　　生产者：指以统计时段C?期刊当年刊载论文标注的第一作者为统计学段。根据出生年月把研究人员划分为四种类型或层次：Y1(59年及以前出生，大部分的学科领军人才都处于这一年龄段）、Y2(60年代出生，各个学科的学科带头人大多处于这个年龄段）、Y3(70年代出生，较多的学科骨干聚集于这个年龄段）、Y4(80年及以后，这个年龄段的作者正处于学术研究生涯的早期阶段，属于各个学科“后备军”。

　　3.C100指数的排序政策：以C?期刊刊载的论文数量按照第一机构排序得到机构总排名，以C1m期刊刊载的论文数分学科按照第一机构排序得到分学科机构总排名，以C1M期刊当年论文作者的年龄分层作为系数进行分学科机构排名。C?指数涉及的多个指标均为正向指标，统计值越大，即对生产力体系的贡献越大，对机构总体生产力水平的贡献越大，单项数据在进行无量纲化处理后进行加权计算。C100指数权重分配方法使用层次分析法进行设定，同时，为了满足不同的需求，C100指数体系所使用的公开的数据来源和透明的指标体系能够保证大学和科研机构可以根据自己的评估需求自行设定权重分配方案。

　　四、C100指数：数据展示和分析

　　为了便于直观地呈现C?指数各指标的构成状况，我们根据上述规则选取了111种期刊作为测试C100指数的统计源期刊，其中包括22个学科的学术期刊89种、高校学报和社科院（联）主办的综合性期刊22种。以机构总量和学科出版论文数量较为集中的管理学、哲学、中国文学、历史学、经济学、政治学、法学等7个学科（依国标学科代码为序）作为实例进行数据展示。具体而言：_是机构产出的总体状况，包括全部学科的产出总量、作者构成、期刊分布、高发文期刊等指标，其中统计了第一机构论文总量包括C?期刊群当年发表论文数量、第一作者总数，还统计了第一机构论文的期刊分布状况，通过三个指标反映学术期刊对机构的关注度以及机构生产力的主要来源，由此可以客观地反映高校和科研机构的生产力整体状况；二是分学科的机构产出状况，包括学科产出总量、作者构成、期刊分布、高发文期刊等指标，直观地反映了学科论文发表的机构分布和期刊布局。限于篇幅，下面仅以高校总的产出为例进行简要分析。

　　对测试数据的整体考察显示，C1?期刊群111种期刊2013年论文出版总量为14989篇，约占CSSCI收录文献的16.2%,其中89种专业期刊为11820篇、综合性期刊为3169篇。涉及的机构数为4000个，第一作者数为12614人，作者平均发表数量为1.16篇，发表5篇以上的作者有57位,2篇以上的作者仅有1727位，作者分布较为广泛。

　　从2013年度C?指数机构产出的相关统计可以看出，依据重要学术期刊评价作用为基础构建的生产力评价体系具有较好的适用性和便利的可操作性，标准化处理过程保证了较高的科学性，指标的指向性也十分清晰，对今后进行赋权统计也十分有利。通过初步分析，我们得出如下一些观察判断：

     第从总体上看，中国社会科学院和传统重点高校的学术生产力优势地位难以撼动。C1m指数显示，传统重点高校无论从产出数量还是从生产者的角度来看总量逐年增加，明显高于其他高校和机构。根据各学科领域中的相对位次分析，多数学科的前20位大多为传统重点高校所占据，且有5所高校处于多个学科的前5位。值得一提的是，南京师范大学、苏州大学、首都师范大学、浙江师范大学等一批地方高校也进入了前30强。从表2可以看出，C100论文发表最多的前50位高校和科研机构基本上是综合性大学和师范、财经政法类院校，前50位机构的论文产出总量已经超过C?论文总产出的60%,各机构C1m论文数与CSSCI收录总数平均比例为22%,与总量的比例极为接近。

　　第二从成果类型上看高校和科研院所应当更加关注面向重大现实问题的对策应用研究。近年来国家社科基金的资助坚持以重大现实问题为主攻方向，坚持基础研究和应用对策研究相结合，优秀学术期刊也应顺势而为，不仅应当关注基础理论研究的创新成果，而且应当关注对策应用研究的创新成果。初步统计表明,2013年度，本次统计C1m期刊群发表基金论文的比例在50%左右，其中社科基金资助的比例为16%。事实上，随着公共资金对关注重大现实问题的对策应用研究支持力度的不断加大，应用型创新成果日益涌现，并在重要学术期刊上得到发表途径，其贡献通过C?指数得以体现。作为哲学社会科学研究的主力军，高校和科研院所应当正确认识并顺应这一趋势，坚持基础理论研究和应用对策研究并重与齐飞的原则，坚持“两手抓、两手都要硬”和“两条腿走路”以基础理论研究促进应用对策研究，以应用对策研究带动基础理论研究，对国家经济社会发展作出应有的贡献。

　　第三，从有关期刊分布的指标可以看出，优秀学术期刊的开放度还有进一步提升的空间。测试数据中，C100期刊群111种来源期刊中有78种主办地在北京，地缘优势和资源优势较为明显，中国社科院主办的期刊达到了41种，北京大学、中国人民大学、南开大学等7所高校主办的刊物都在两种以上。数据显示，一些期刊的主办机构“自稿率”常年居高不下，一些高校综合性学报该指标常年在60%以上，成为本校学者研究成果的发表平台；一些期刊载文机构较为集中，常年被若干高校或研究机构包揽大部分版面，这些情形对评价结果具有直接甚至是显着的影响。“夫学术者乃天下之公器”学术期刊亦然，国际经验表明，基于开放的充分竞争是学术期刊能够持续健康发展的前提。因此，未来有必要根据学术界的意见对期刊群目录进行适当的调整。

　　第四，从生产者构成来看，优秀学术期刊还可以进一步加强对青年学者的扶持力度。根据测试结果，C100期刊群的青年学者占比较低。尽管大多数期刊并没有明文限制年轻作者，但统计结果表明，很多高校的科研主力军仍然是60年代以前的学者，年轻作者在高水平期刊的显示度并不高，新一代学者的培养和成长还尚待时曰。习总书记在中国科学院第十七次院士大会、中国工程院第十二次院士大会上的讲话中指出：“未来总是属于年青人的。拥有一大批创新型青年人才，是国家创新活力之所在。”②因此，高水平学术期刊如何更好地承担扶持学术新人的社会责任，应当引起人们的重视。

　　第五，分学科数据展示的若干学科发展的新动态，值得引起主管部门的重视。数据显示，部分高校近三年来在C100期刊群的份额急剧下降，这与一些高校积极鼓励研究人员在SSCI、A&HCI等国外数据库收录期刊发文有直接联系。学术走出去是否要以放弃国内的学术阵地为代价？中文社会科学期刊是否会重蹈中文科技期刊的覆辙？这必须引起我们的重视。在这个方面，中文科技期刊的教训与经验都是可以借鉴的。在分学科数据中，我们发现，很多地方高校和专业院校的学科优势和特色显着，对传统重点高校和科研院所构成了某种非对称的优势。那么，地方高校和专业院校如何挖掘和利用现有资源，扬长避短，重点发展优势学科以及后备力量较为丰富的学科？面对地方高校和专业院校的非对称竞争，传统重点高校和科研院所应如何应对？凡此种种，都是值得高校和科研院所认真思考的。

　　在多年的工作实践中，我们深切体会到，人文社会科学的评价是一项极其复杂的工作，而学术评价的主体必定是学术研究的直接参与者，任何机构都不能越俎代庖，正因如此，我们始终清醒地认识到，为学术评价提供服务是我们的义务，而且真诚期待其他同行也能像我们这样正确认识、定位自我，共同通过科学的工作推动中国哲学社会科学研究的繁荣与发展。