心理学实验可重复危机
从实验室到手术台,这条路径在某些领域已经快成了一条玩笑。
2011年,一个叫Daryl Bem的社会心理学家发表了一篇研究,声称人类能预知未来。不是那种神秘学杂志上的玄谈,而是在标准的心理学实验范式下,被试者竟然能对未来的随机事件作出高于概率的准确反应。这篇论文发在了《人格与社会心理学杂志》上,这是社会心理学领域最顶级的期刊之一。
我当时还在读博士,看到这个消息的反应和大多数人一样:要么这哥们疯了,要么我们整个学科都疯了。
后来的发展证明,后者的可能性更大。
Bem的研究引发了一场前所未有的复制狂潮。多个独立实验室试图重复他的实验,结果无一成功。但这并不是故事的终点,它只是拉开了心理学可重复性危机的序幕。2015年,Open Science Collaboration这个组织发表了一项大规模复制研究的结果,他们尝试复制了100项发表在顶级心理学期刊上的研究,结果只有36%能够成功复制。换句话说,你读到的10个心理学发现中,可能有6个以上是假的。
你可能会想,这36%也还不错,至少还有一些是真的。但问题在于,这个比例已经是经过筛选后的结果。这些被复制的实验本身就是那些发表在高影响因子期刊上的“明星研究”,它们已经被编辑和审稿人认为是最顶级的发现。如果连这些都无法复制,那些默默无闻的低质量研究会是什么状况?
这就像你去一家声称自己米其林三星的餐厅,结果发现他们端上来的菜,有将近三分之二是不能吃的。你还会为剩下的三分之一买单吗?
核心问题出在统计数据上。
心理学研究者们普遍使用的p值,这个看似客观的标准,实际上已经被玩成了一个数字游戏。p值小于0.05,意味着结果在统计上显著,可以发表。这个门槛导致了所谓的“p值黑客行为”——研究者们不断尝试不同的统计方法、剔除异常值、增加样本量,直到p值恰好小于0.05。这个过程往往是下意识的,研究者自己都不一定意识到自己在“作弊”。他们真心相信自己的假设,只是想要用数据证明它而已。
这种心态导致了一个恶性循环:发表压力越大,p值操纵就越普遍;p值操纵越普遍,可复制性就越低;可复制性越低,整个学科的信任度就越差。
2017年,《自然》杂志的一项调查显示,超过70%的研究者承认他们曾无法复制其他实验室的研究。这个数字本身就说明问题已经不仅仅是个别实验室的问题,而是整个学术体系的结构性缺陷。
我2018年在德国马克斯·普朗克研究所参加过一次关于可重复性的会议。会上有一个场景让我至今记忆犹新:一位年轻的研究者站起来,展示了她试图复制的六项社会心理学经典研究,全部失败。她花费了两年的时间,动用了大量的资源,结论却是那些写了一本书的经典理论根本站不住脚。她哭了。不是因为愤怒,而是因为困惑——这些理论在课堂上被当作真理教授,在心理治疗中被当作依据使用,在学校教育中被当作准则执行,而它们的基础却如此脆弱。
这位研究者不是特例。据估计,仅在美国,每年因可重复性危机而浪费的研究经费就超过280亿美元。这个数字还只是直接成本,没有算上那些基于错误结论开发的药物、干预措施和培训方案。
但我要说的是,可重复性危机并非心理学独有的问题。癌症生物学领域也有类似的复制计划,成功率同样低得惊人。经济学、医学、甚至有研究者质疑过神经影像学的结果。这更像是现代学术工厂的普遍病症。
那些曾经被奉为金科玉律的研究,比如“意志力消耗后会下降”、“权力感使人变得冲动”、“微笑让人更快乐”,在多次复制尝试中表现得极不稳定。有些效应确实存在,但远远小于最初报道的那些花哨数字;有些则根本不存在,只是某个实验室里一次幸运的统计波动。
更让我担忧的是,这个问题正在被自我强化的学术文化所保护。发表颠覆性、反直觉的研究比发表复制研究更容易获得认可和资金。期刊喜欢新发现,而不是验证旧发现。你不信去看看任何一个顶尖心理学刊物的目录,有多少是纯粹复制前人研究的?几乎为零。
这导致了一个荒诞的局面:研究者的激励机制和科学进步的需求完全背道而驰。科学家们需要发表更多的论文、更抢眼的发现、更令人震惊的结论,而这些恰恰是最不可能被重复的。
我当然不是说要放弃那些失败的复制实验。实际上,失败本身就有价值。它告诉我们,有些路走不通。它提醒我们,科学不是圣经,而是一个不断纠偏的过程。
但问题在于,当前的心理学家们太善于给自己的失败找借口了。当复制实验失败时,最常见的理由是“实验室文化不同”、“被试者群体有差异”、“实验操作有偏差”。这些理由在一定程度上是合理的,但如果总是用这些来解释失败,那复制实验的意义就完全被消解了。
在我看来,解决这个问题需要几个层面的变革。首先是方法论层面:预注册实验方案、使用更大的样本量、采用更好的统计方法。其次是文化层面:鼓励发表复制研究、奖励方法论严谨性而不是发现的大小、建立开放的数据共享机制。最后是制度层面:改变学术评价体系,让那些踏实做基础工作的研究者也能获得认可。
2019年,心理学领域已经有了一些积极的变化。APS和APA等组织发布了新的统计指南,鼓励报告效应量及其置信区间,而不仅仅是p值。一些期刊开始要求作者在提交时附上原始数据和分析代码。预注册平台也在快速普及。
但变革的速度远远赶不上问题的扩大。我认识的一位编辑告诉我,即使是在那些要求预注册的期刊上,仍有超过40%的作者没有严格按照预注册的方案进行分析。为什么?因为预注册的方案有时会导致不显著的结果,而没有显著结果就没有发表。
这是一个人性问题,不是技术问题。
可重复性危机的背后,是人类对确定性的渴望和对不确定性的恐惧。我们太想相信那些漂亮的数字和令人震惊的结论了。我们太想把复杂的世界简化成几个漂亮的公式和理论了。科学作为一种获取知识的方法,其本质特征应该是可错的、可修正的。可我们在实践中却把它变成了一种信仰。
六年后的今天,我回头看Bem那个预知未来的研究,它已经成了统计学误用的教科书案例。但它的意义远不止于此。它像一面镜子,照出了整个心理学领域的集体无意识——我们太想成为货真价实的科学了,以至于为了达这个目的,开始不自觉地伪造证据。
那位在会议上哭泣的研究者后来离开了学术界。她告诉我,她不是不相信心理学有真正的发现,她是不相信这个系统能够让她安心地去做真正的研究。这句话让我久久无言。
可重复性危机最终考验的不是技术能力,而是整个学科面对自身局限时的勇气。当我们不再把科学当做一种信仰,而是当成一个永远在修订中的草案,我们才有可能在实验台前,真正诚实地面对那些冰冷的数据。
如本文"对您有用",欢迎随意打赏,让我们坚持创作!~
暂无目录