科学论文的引用数评价机制是否科学?

‍‍‍‍


读博期间,大学同学聚会,之间谈论最多的话题就是:

“你们毕业的要求是多少?”

“文章发表了么?”

“影响因子多少?”

……

相信广大的“理科汪”们对此并不陌生。


无论是期刊影响因子、H因子、,还是“高被引科学家”,各型各色的学术评判标准大多由文章的引用数衍生而来。学术期刊的影响因子反映期刊最近几年发表文章的平均被引用次数,1975年开始由科学信息研究所(Institute for Scientific Garfield)发明,并在Journal Citation Reports(JCR)上提供上一年度世界范围期刊的引用数据,给出该数据库收录的每种期刊的影响因子。H因子(H-Index),2005年由美国物理学家乔治•赫希(Jorge Hirsch)提出,表征科学家最多有h篇论文分别被引用了至少h次,是用来衡量科研人员学术成就的指标。还有其他一些计算方法,包括Eigenfactor、SJR、SNIP也都和文章的引用数有着密不可分的联系。


更更更重要的是,无论是职位申请、职称评定、评奖、还是基金申请,也都无法逃脱文章引用数的“魔爪”。

图片来源:SERGE BLOCH / Nature [1]


引用数及其衍生而出的各类指数,已然成了将文章或者研究者分为三六九等的标准。不过,它们真的能确切反映研究的影响和潜力吗?是不是有时候觉得发在影响因子巨高的期刊上的文章也“有点水”?有时候又觉得一篇三区、四区的文章也能带来不少的启发甚至激起新的灵感?


近日,一个跨学科的美国团队在PLOS One上报告了一项有意思的研究结果。[2] 他们在2013年对超过350多名化学家进行了一次调查,请他们评价2003年发表的一期JACS 上52篇文章的影响力。参与调查的化学家来自化学的多个分支学科,他们需要在该期的文章中分别进行如下选择:(1)你认为最重要的文章;(2)你认为引用最多的文章;(3)你最想向同行推荐的文章;(4)你最想向更多读者推荐的文章。每个选项可选三篇文章。


随后研究者将化学家们的选择和文章在2013年时实际的引用数进行统计分析,结果却令人意外。文章的实际引用数和四个调查选项的相关性都不大,甚至还低于实际引用数与通讯作者H因子的相关性。

参与调查化学家的选择与文章实际引用数的相关性分析。图片来源:PLOS One


有没有可能是有些文章太过前沿从而影响了实际的引用?研究者用了2016年的实际引用数进行分析,结论仍是一样。那么有没有可能是化学家所在分支学科与文章研究方向不同造成了化学家的误判?研究者继续细分数据,结果发现,就算只考虑与文章工作在同一个领域内的化学家的选择,结论还是没有变化——化学家对重要性和引用数的预测与实际引用数的相关性不大。这也就是说,化学家认为影响力高的文章,并不一定实际引用数就高;而化学家认为影响力低的文章,并不一定实际引用数就低。


化学家们自己的选择中也有一些有趣的发现。他们对于引用数的估计和重要性的判断相关性较高,也就是说,他们认为重要的文章往往也觉得它们会被广泛引用。不过,重要性和与同行分享意愿的相关性要高于引用数和与同行分享意愿的相关性。也就是说,相比于他们认为会被广泛引用的文章,化学家更愿意与同行分享那些他们认为重要的文章。

参与调查化学家四项选择之间的相关性。图片来源:PLOS One


“化学家们对于文章的引用和重要性有着不同的定义和理解,”Rachel Borchardt(文章一作)说,文章引用数真的仅仅是一种统计,不应被赋予太多其他的意义[3]

Rachel Borchardt。图片来源:American University


当然,这个研究也有局限性,比如,参与调查的化学家数量并不算多,用于调查的也只是化学领域的一个知名期刊中的一期。但这一研究还是指出了引用数以及由其衍生而出的学术量化评价机制的局限性。


随着现在每篇文章引文数量的增多,从50年前每篇文章引用十几篇参考文献到现在平均每篇文献引用40多篇参考文献,文章的被引数量也是逐年增加,很多化学类期刊的影响因子更是逐年提高,有些期刊更是创造出了影响因子暴涨的奇迹,比如Energy & Environmental Science。文章引用数只是个统计,绝不能成为科研人的追求,是时候打破对影响因子的崇拜了。没有引用或者引用数低不代表没用(点击阅读:无人引用的论文和咸鱼有什么区别),有些“睡美人”论文要等上几十年甚至近百年,才能引起学术界的广泛关注(点击阅读:你的论文是“睡美人”吗)。不过也不可否认,无人问津且水平垃圾的论文也的确存在,数量也不会少。

参考文献数量变化。图片来源:Nature [1]


既然文章引用数不能很好的揭示研究的价值和影响,那么还有没有其他评判标准呢?其实是有的。比如在经济学中基于古诺—纳什均衡的贝克尔模型(Becker Model),如果用于改善化学学科的评价体系,可能会更加客观[2,4]


当然,也有统计表明,文章数目和引用数高的研究者成功率远远大于文章数目和引用数低的研究者[5] 然而,到底是文章引用数预测了研究者的成功与否?还是研究者因为文章数目和引用数高而获得更多资助,从而促成了研究者的成功?换句话说,是本章引用数本身很重要,还是因为学界在其上附加了太多的价值和利益而使它变得重要呢?这个因果关系或许只有仁者见仁智者见智了。


不过,在更合理的学术评价机制运转起来之前,好好发文章,努力提高引用数,还是当下科研工作者,尤其是青年科研工作者的唯一出路。


参考文献:

1. The science that's never been cited. Nature, 2017, 552, 162-164, DOI: 10.1038/d41586-017-08404-0

https://www.nature.com/articles/d41586-017-08404-0

2. Perception of the importance of chemistry research papers and comparison to citation rates. PLOS One, 2018, DOI: 10.1371/journal.pone.0194903

http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194903

3.https://www.chemistryworld.com/news/mismatch-between-citations-and-chemists-expectations/3008854.article

4. Bernard Becker Medical Library. Assessing the Impact of Research | Becker Medical Library

https://becker.wustl.edu/impact-assessment

5. Prediction of junior faculty success in biomedical research: comparison of metrics and effects of mentoring programs. Peerj, 2015, 3: e1262, DOI 10.7717/peerj.1262


(本文由小希供稿)



本文版权属于X-MOL(x-mol.com),未经许可谢绝转载!欢迎读者朋友们分享到朋友圈or微博!


长按下图识别图中二维码,轻松关注我们!


点击“阅读原文”,查看 化学 • 材料 领域所有收录期刊