科学论文发表的研究可重复吗?R-factor在线工具或可能给出答案

↑ 点击关注GoOA头条

随时掌握开放获取资源动态

关键词:论文重现得分;R-factor;Pubmed;Verum Analytics

2018年1月19日, 美国康涅狄格州纽黑文市Verum Analytics公司发布用以衡量Pubmed数据库免费论文重现指数的在线工具R-factor。

基本功能

该工具通过输入Pubmed ID(PMID)运行算法,找到引用该文的文章,以及证实、驳斥或提及该文的段落,再通过计算“证实数量/(证实数量+驳斥数量)” 得出R-factor重现得分(如下图所示,以PMID=27903280为例),指数越接近1说明该文被驳斥次数越少。

 R因子重现得分计算工具

 科学界正寻找可靠工具衡量已发表成果的可再现性

(图片来源:National Eye Institute, National Institutes of Health)

这个工具出现得正当其时:很多证据表明许多已发表文章的研究结果不可重复,为此科学界努力寻求可靠的“论文可重现性”评估方法。开发之初,Verum联合创始人Josh Nicholson和同事手动分析了4.8万个引用已发表论文的文本片段,并将每个引用片段分别归类为“提及性、证实性和反驳性”。Verum利用这些分类训练算法自动识别样本群之外的每类引用片段。开发人员根据1万份样本的检测结果,认为该工具能够在有限时间内通过分类训练算法实现93%的正确分类;提及性比证实性和驳斥性的引用片段更易准确检测,约8%的引用是证实性的,只有1%的引用是驳斥性的。也有部分学者批评R因子重现得分工具,认为该方法过于简单而不能真正解决重现得分的问题。

Josh Nicholson表示“希望早期版本的发布能吸引潜在资助者来帮助改善该工具。” Verum团队接下来的工作是扩大用于分类训练算法的样本数量,以提高证实性和驳斥性引文的准确率。

资源地址:

http://www.sciencemag.org/news/2018/01/online-tool-calculates-reproducibility-scores-pubmed-papers;

http://rfactor.verumanalytics.io/




更多精彩信息请持续关注GoOA↓


Share your knowledge to continue a timeless tradition.


版权声明:本公众号由中国科学院文献情报中心开放资源建设团队承办,所有文章遵循CC BY-NC-ND协议,转载须注明出处。