论文写完了?等等,怎么判断你引用的那些文献就是靠谱的?

作者:Michael J. I. Brown

翻译:红猪

编辑:游识猷


我没工夫了解科学,至少没工夫了解全部。我没法一年读9000篇天体物理学论文,不可能的事。   


我对糟糕的科研也没有多少耐性,但糟糕的科研又偏偏受到了过分的关注。它们的数量真多,每年撤回的论文就有700篇,而还在圈子里流通的糟糕研究远远不止这个数目。


和大多数科学家一样,我也会在阅读中运用几个窍门来筛掉糟糕的研究。这些窍门单独来看并不总是灵验,但放到一起却是相当有用的。有了它们,你就能在几分钟内辨别出坏的研究,而不必再花费几个小时了。


你怎么判断这些期刊中的哪些文章是可信的?图片来源:Shutterstock


一、看上去就很糟   


好的科学研究往往是小心翼翼的、还带一点焦虑的气息。当你发现了新鲜事物或者意料之外的现象,你自然会很担心出错。对一个可能出错的主题鉴别梳理,然后以简洁的文字写出,这会花费许多时间,有时数月,有时甚至几年。   


如果你已经花了许多时间仔细从事科研,那为什么不再多花一点时间来准备一份优质的原稿呢?比如放几幅漂亮的插图、多校对几次之类。这是个很简单的道理,也是为什么草率的原文或不通的语法都是糟糕研究的标志。   


埃尔曼诺·博拉(Ermanno Borra)和埃里克·特罗蒂尔(Eric Trottier)宣布他们发现了“很可能是来自外星智慧的信号”。我认为这很牵强,但还是值得去读一读这篇论文的预印版。当我看到那些模糊的图表和不在同一页上的图片与图注时,我的心中立即敲响了警钟。


我当时发表的推特。   


我这样谨慎有必要吗?当我细读文章,又发现了其他令人警惕的信号。比如文中的结论都是由傅立叶分析得出的,这是一件强大的数学工具,但许多研究者都知道,它也能从科学仪器和数据处理中得出虚假的结果。


另外,这些惊人结论的依据是一个规模很小的数据子集,两位作者也无意用其他观测来佐证结论。如果他们够细心的话,难道不该多花点时间来收集更多数据、认真排版稿件吗?我对博拉和特罗蒂尔的外星人深表怀疑,我的许多同行也是如此。   


当然了,也有卖相不好但内容很好的研究。比如关于希格斯玻色子的那则声明,内容精彩绝伦,幻灯片的设计却毫无美感,就连Comic Sans字体发明人文森特·康纳尔(Vincent Connare)都很不满意。


所以说为什么要用Comic Sans字体做幻灯片啦!图片来源:theverge.com  


老实说,在这些幻灯片的好坏上,我同意康纳尔的看法。不过这也提醒了我一点:用外观来快速鉴别糟糕研究的方法是有缺陷的,它不是绝对无误的标准


二、“连我都看出来了”


“这太显而易见,连我都看出来了,为什么以前就没有人想到呢?”


嗯,也许已经有人想到了吧。   


最近有人宣称,宇宙的膨胀速度可能没有加快,这似乎和一些赢得诺奖的研究产生了抵触。这个新结论的依据是对超新星数据的一项统计分析,不过这样的分析已经不新鲜了。    


在一部搜索引擎中输入这些关键词,你会发现以前有过许多研究,但其中并没有得出什么意料之外的结论。看到这里,你就该生出警觉了。   


那么这是怎么回事呢?你不必专门去研究超新星和宇宙学,因为在推特上,已经有专家提出了精辟的解释和专业的回答。



简单地说,你只有对超新星的性质做出错误假设、并且忽略其他关键事实,才能对宇宙加速膨胀说提出些许证据。 


宇宙学家塔玛拉·戴维斯(Tamara Davis)指出,这样的刻意忽略,加上对于另类结论的执迷,往往会误导研究者。不幸的是,这样的疏忽和错误假设在别处也存在。


他们真的将二十年来的宇宙学研究都推翻了吗?图片来源:Paramout


三、期刊的分数和好坏   


你或许知道,有些科学期刊是独具声望的。关于科学期刊有各种评分,其中《自然》和《科学》总是接近榜首。而在给大学排名时,人们依据的也往往是在那些富有声望的期刊上发表的论文,以此代替对大学质量的评估。   


我对期刊排名并不怎么看重。《自然》和《科学》都喜欢追逐轰动的结论,并因此发表了不少错误甚至是欺骗性的研究。比如上面那篇剑走偏锋的超新星论文就是发表在《科学报道》(Scientific Reports)上的,那是一份涵盖多个学科的免费网络刊物,出版者正是自然集团。   


我虽然不在意期刊排名高,却很在意坏的期刊。如果你投稿给一家正派期刊,那么你自然认为他们会(或者可以)给你派一位细心的编辑和审稿人,而这又会驱使你仔细开展研究。反过来,如果你的文章没有经过恰当的同行评议就被接收,那就什么错误都可能出现了。   


科罗拉多大学的图书馆员杰弗里·比尔(Jeffrey Beall)列出了一份“掠夺式出版人”名单,其中搜罗的都是虚伪的学术期刊,他们的同行评议都只是做做样子。比尔列出的其实就是一份坏期刊的名录,我对这些期刊上登出的文章都是怀疑的。 


于是,当这张名单上的一份刊物登出了一篇鼓吹化学凝结尾(译注:化学凝结尾,一种,主张飞机在空中留下的尾痕中包含不为大众所知的有害物质)的文章时,我一点也没感到奇怪。而当我发现文中包含严重错误时,也觉得那在意料之中。无论是好是坏,我的刻薄态度都常常能得到事实的证明。


编译来源:How to quickly spot dodgy science

欢迎个人转发到朋友圈

本文来自果壳网

转载请联系授权: sns@guokr.com

投稿请联系scientificguokr@163.com





果壳

从论文到科普,只有一步

只能帮到这了,能不能毕业就看你自己的了

【拓展阅读】科学研究为什么是客观的?