癌症相关论文可重复性项目发布首份结果,几家欢喜几家愁



原文以Cancer reproducibility project releases first results为标题

发布在2017年1月18日的《自然》新闻上

原文作者:Monya Baker 和 Elie Dolgin


一个旨在重复几十项癌症生物学领域研究的开放性科学项目首批结果结果令人困惑。


一个开放资源项目正在核实几十篇有关攻击肿瘤细胞的论文。

Stanley Flegler/Visuals Unlimited,Inc./Science Photo Library


今年,Erkki Ruoslahti原本准备开展一项针对癌症患者的药物试验,但他的计划现在可能岌岌可危。有一个引人注目的项目专门评估几十篇富有影响力的癌症生物学论文所发表的研究结果,本周该项目公布了首批五篇论文的评估结果,其中包括Ruoslahti的一项研究。试图重复他的研究结果的科学家说,他们无法让其药物发挥作用。对于其它四篇论文,可重复性结果不太清楚。


Ruoslahti是一名来自加州桑福德-伯纳姆-普利贝司医学研究所的癌症生物学家,他质疑对其研究结果的判定。毕竟在美国、欧洲、中国、韩国和日本,至少有十个实验室已经验证了他在2010年发表的那篇论文,他在文中首次报告了一种设计用于渗透肿瘤并提高其它化疗药物抗癌能力的肽的价值。他说:“难道我实验室里的三代博士后都在自欺欺人,而其他人也是一样?我很难相信。”


Tim Errington是弗吉尼亚州开放科学中心可重复性项目的管理人员,他认为一次重复失败并不能证明一开始的发现是错误的,并且不应该因此让论文蒙上污点。研究者应该把结果看作一种信息,而不是非难的理由。“如果我们把别人的证据只当成非难原始研究者的理由,说明我们的修养出了问题。”


但Ruoslahti担心,他的研究结果重复失败将削弱他为DrugCendR筹集资金的能力,DrugCendR是他在拉荷亚所开的一个公司,用于开发他的药物疗法。他说,:“我知道肯定会有影响,但不知道会有多糟。”


重复尝试


相比之下,可重复性项目公开发布其所有的调查结果,这也因此引起Ruoslahti的不安。两年来,在预算限制及其它因素的影响下,该项目缩减到29篇论文:德克萨斯州休斯顿的劳拉和约翰·阿诺德基金会(Laura and John Arnold Foundation)已经为该项目提供将近200万美元的资金支持。年底应可以得到全部的重复研究结果,目前已完成的有7个,eLife已于1月19日发布了五个全面分析的研究结果。


这五项研究结果展现出一幅并不明晰的景象(见“浑水研究”)。eLife的高级编辑Sean Morrison说,尽管尝试重复Ruoslahti的结果失败,但其它尝试中有两次“大体上复现”了研究结果(虽然并不是所有的试验都达到了统计显著性的阈值)。剩余两次得出了“无法解释的结果”,他说:由于这些尝试的问题,我们的结果与原始研究结果无明显相似性。


浑水研究


癌症生物学领域可重复性项目中首五项重复研究的结果。

论文

原始结论

重要试验的关注点

可重复性试验结果

问题举例

Sirota, M. et al. Sci. Transl. Med. 3, 96ra77  (2011)

公共基因表达数据可识别老药新用

使用抗溃疡药处理后肿瘤的增长

基本可重复

统计分析适当性不一致

Sugahara, K. N. et al. Science 328, 1031–1035  (2010)

一种肿瘤穿透肽可增强抗癌药物的药效

肽处理后肿瘤的生长情况

未能重复

肽合成或溶液中的潜在差异

Willingham, S. B. et al. Proc. Natl Acad. Sci.  USA 109, 6662–6667 (2012)

阻断CD47和另一种蛋白质之间的接触可抑制肿瘤

试验处理后肿瘤的生长和转移

无法解释(试验处理后肿瘤增大,但不显著)

一些肿瘤自发性萎缩

Delmore, J. E. et al. Cell 146, 904–917  (2011)

阻断某蛋白序列可阻抑癌前基因

试验处理细胞中的基因表达;经处理肿瘤的生长情况

基本可重复

对照组的生物发光/存活差异显著

Berger,  M. F. et al. Nature485, 502–506 (2012)

测序结果揭示了在黑色素瘤中频繁突变并可促进生长的基因

携带突变的细胞中的肿瘤形成

无法解释

未发生突变的肿瘤生长过快,无法检测到任何促进生长现象

 

在达拉斯德克萨斯西南大学医学中心研究癌症和干细胞的Morrison说:“统计数据的人可以看到,现在三个研究中有两个似乎已经被重复出来了。”


《自然》联系了所有原始报告论文的通讯作者。一些作者称赞了可重复性项目,但另一些作者担心该项目可能会不公正地损害他们的研究信誉。加州大学旧金山分校的计算生物学家Atul Butte说:“如果该项目得出的结果有误,论文作者的事业将危如累卵。”自己的论文大多被可重复性项目团队证实。



ErkkiRuoslahti表示,他担心可重复性项目无法验证他的研究结果会影响他开展启动新的癌症药物试验。

Paul Wellman


Morrison说,关于两个“无法解释”的结果,究其原因是可重复性研究中检测肿瘤增长的试验出现错误。当这种情况发生时,可重复性项目研究人员(属于合约研究实验室或学术机构核心实验室)不允许偏离他们在实验一开始就同意的同行评审的实验方法(经与原始作者协商)。因此他们坦白报告了所见问题。Errington说,做任何其它事情,比如改变实验条件或重新开始研究工作,都会带来偏差。


马萨诸塞州波士顿丹娜-法伯癌症研究院的癌症生物学家Levi Garraway认为,这种冲突意味着可重复性研究提供的信息不充分。他说,“你无法区分对于结果不重要的一个简单的原因与一个重要的结果。”在他识别可促进癌症形成的突变的研究中,未携带突变的细胞在可重复性试验中生长更快—可能是由于发生在细胞培养中的改变。这意味着无法将可重复性试验结果与原始结果进行比较。



细节是魔鬼


Errington认为,这个项目最明确的发现可能就是许多论文所包含的关于试验方法的细节太少。可重复性项目团队花了很多时间与原始作者一起努力找出试验方法和试剂,因为在许多情况下它们是由不再在实验室的学生和博士后制定的。即使如此,最终报告也包括了可重复性研究可能得出差异性结果的一长串解释——从实验室温度到药物递送的微小变化。Errington认为,如果该项目有助于揭示出这些令人困惑的细节,那也将是一件丰功伟绩。


其他人认为该项目的主要价值是鼓励怀疑。2012年Amgen报告的作者Glenn Begley说:“通常,研究者轻信已发表的研究结果,他们自己不再重现关键试验,就以之为基础继续研究。”


德国法兰克福大学医院的肝癌研究员Albrecht Piiper就不是这样。Piiper已经在他自己的实验室里重复了Ruoslahti的研究工作。他说,尽管可重复性项目最新公布的结果是否定的,但他“不怀疑”Ruoslahti论文的有效性。


Nature|doi:10.1038/541269a



点击“阅读原文”阅读英文原文



版权声明:

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考,一切内容以英文原版为准。欢迎转发至朋友圈,如需转载,请邮件Chinapress@nature.com。未经授权的翻译是侵权行为,版权方将保留追究法律责任的权利。


© 2017 Macmillan Publishers Limited, part of Springer Nature. All Rights Reserved