Nature：新型学术评价系统横空出世

如果有一种准确计算每个学者贡献度大小的工具，将彻底改变目前学术评价依靠同行评价的局面，这种评价系统不是简单地统计数字，而是智能化，精确度非常高的创新系统。那么这种技术将会彻底颠覆现在的学术生态，让那些不学无术，依靠非学术资源，依靠人脉的学术界陋习彻底失去生存空间。这种技术也许很快成为现实，今天《自然》就介绍了这样一种新的学术评价系统。

学术评价系统是学术领域非常要命的问题，国内学术评价系统的失效也一直受到众多诟病。如果这种系统确实神勇，也许能大大提高目前中国的学术评价的准确性，纠正某些异常问题。

今天的科研早已不是单打独斗的时代，尤其是在生命科学领域，只有一个作者的论著变的十分罕见。一方面，论文作者数量的不断增加给学术评价带来了更多挑战；另一方面，大规模集团作战和合作也在改变科研生态。

只通过阅读论文已经很难知道谁作了什么内容，部分杂志可对论文作者排列、致谢和贡献情况资料无法全面了解作者的贡献度，但大量结构粗糙的杂志这给方面的数据分析带了很大困难。

随着数字技术的不断进步，给学术评价问题提供了可能手段。手稿提交系统能在论文提交过程中提供作者贡献度信息，基金资助机构、出版社和论文投稿系统也可将研究论文发表和相关经费资助来源建立联系。

申请学术职位和申请经费过程中，学者自己准确描述自己的学术贡献十分重要。基金资助机构为提高经费效率，也需要对申请者的能力进行准确了解。研究结构在考核自己的学者也非常重要，尤其在任命职务和晋升职称过程中。

对研究人员来说，认真描述每个作者的具体贡献比“第8作者，共15名作者。”这样的描述要有用的多。科学家需要用出版物的实际贡献与合作者或竞争者进行比较，例如在基金申请过程或寻找学术职位时，都需要提供这样的信息。对年轻科学家来说，发表论文的关键作者往往能证明你所具备的特殊能力。方法学发明的贡献也很难从作者列表中获取，但也能从合作、数据分享等方面获得贡献程度的证据。通过个人认可度评价，研究人员能从受同行认可程度方面获得评价资料。对基金资助机构来说，自动分析技术对能力和潜在产出效率评价能力逐渐提高，来自基金申请人员的学术贡献度大小的准确信息不仅能帮助提高资助决策的公平性，而且对寻找最合适的评议同行也有价值。对研究机构来说，任命和晋升过程中，准确了解研究人员的贡献大小是基础性工作。

对出版机构来说也很重要。许多杂志对作者组成有比较严格的规定，虽然很难真正进行严格的审查。精确的分析资料能帮助减少作者之间的争议，能提高编辑了解作者贡献方面的效率。

为了证明这种系统的好处，作者曾经进行了一个实验。并对研究结果进行了摘要，说明这个系统确实可以发挥上述作用。

2012年，来自哈佛大学和Wellcome Trust的一小组杂志编辑，使用taxonomy系统对一些研究人员的贡献度进行了分析，有的出版社如PLOS已经开始对几年内作者的基础贡献度进行分析。

2013年8月到11月期间开展了一项网络调查，以检验14-role taxonomy是否能对近期杂志作者的贡献度进行准确分析。调查发给了1200名论文通讯作者，这些作者论文分别发表在PLos、自然出版集团、爱思唯尔、《科学》和elife上。对这些作者询问，用taxonomy系统分析出其论文中所有作者的实际贡献情况，并提出综合评价，是否存在有重要贡献丢失的情况，如何用这一系统比较作者贡献度，系统友好性如何等。

大约230名作者回应了调查。85%以上被调查者发现taxonomy系统容易使用，并感觉其分析结果准确。82%的被调查者认为，这个系统的精确度比实际记录的更准确。
当然调查也获得许多反馈意见，这些意见对优化系统有很大帮助。另外这一系统目前只在生物医学领域进行尝试，不清楚在其他更广泛领域的适用性如何。

将来这一技术开发者将会和美国信息标准组织合作试用taxonomy。通过这一合作，他们将分析在更大范围内的学术团体，包括不同学科领域，以明确这一技术在非生物医学领域的适用情况，确定其分析学术生态内每个学者的学术贡献度的价值。当然，任何学术评价方法都不要以增加学者们在投稿、出版等方面的负担为代价。

第二次学习班将计划在2014年秋季举办，此后将实施一次更全面的试验，对2015年的出版物进行系统评价。这一创新技术将会给将来的学术生态带来革命性影响。

原始出处：

Liz Allen, Jo Scott, Amy Brand, Marjorie Hlava & Micah Altman. Publishing: Credit where credit is due. Nature, 17 April 2014;