2016年關于心理學可重復性的主要關注點

修改自我對這一問題的回答： 2016 年，心理學學科內部都出現過哪些有價值的爭論？

心理學的可重復性問題自2011年起，就持續成為熱點，爭論到2016年，也許算是頗為持久，當然，2016年基本上可以算是對這個問題爭議的尾聲了，許多關鍵的問題已經為大家所接受，那么2016年有意思的可能主要問題有：第一、統計知識在討論可重復性問題中的重要性；第二、討論可重復性問題的時候語氣應該是什么樣的；第三、研究者如何面對自己過去的研究無法重復。

關于可重復性問題的爭論，主要是各種博客和Facebook的兩個群：Psychological Methods Discussion Group（目前有5389個成員）和psychMAP（目前有4465個成員），有興趣的同行應該申請加入，可以圍觀大神們討論。

第一個問題：統計知識在討論可重復性問題中的重要性。

關于影響可重復性的因素，其實2011年的經典文章：false positive psychology （ False-Positive Psychology ）中就已經有了很好的說明：心理學中有許多研究問題，由于各位p-hacking手段的存在，實際上只是噪音而已。

而2015年心理學界最受到關注的文章：Open Science Collaboration. (2015). Estimating the reproducibility of psychological science . Science, 349(6251), 943. doi:10.1126/science.aac4716（以下稱為OSC(2015)），又得到了關于心理學研究可重復性一個比較量化的估計：大約為39%的研究是可以重復的。

但是這個結論并非所有的研究者都認同，于是有了 Dan Gilbert在Science上對OSC 2015的論文的評論（ Comment on “Estimating the reproducibility of psychological science” ）以及其后續的爭議。 這個爭議主要的問題集中于：Gilbert等人的批評是否有道理？很多人不這么認為，更要命的是，Gilbert等人的評論中，暴露了 他們對一些統計概念的理解偏差 。后面也有不少研究者來反駁這一點。最為正式的，還是在Science上的反駁： http:// science.sciencemag.org/ content/351/6277/1037.3 。還有一些其他研究者在自己博客上的反駁： Evaluating a new critique of the Reproducibility Project 、 http:// daniellakens.blogspot.co.id /2016/03/the-statistical-conclusions-in-gilbert.html (需要科學上網）、 http:// deevybee.blogspot.co.uk /2016/03/there-is-reproducibility-crisis-in.html （需要科學上網）

（無恥的自我推銷來了！！！）

考慮到Dan Gilbert在社會心理學中舉足輕重的地位，他的評論應該會影響很多人對OSC2015結論的看法，我們在《 心理學研究中的可重復性問題：從危機到契機 》一文中也用了一小節來討論他們的這個評論以及相關的問題，具體內容在1505頁最后一段到1506頁的前兩段。

關于第一個問題，還有另一個比較受到關注的爭論：van Bavel在PNAS上的文章：

這個文章的一個核心論點是說：心理學中的不可重復性，是因為研究的問題的背景敏感性帶來的，其實有一些隱藏的中介變量（hidden modulators）沒有被發現。這個文章一出來，在fb上引發了非常強烈的反應，甚至有一些人身攻擊。后來的反駁也非常多，包括 Inbar等在PNAS上寫的一個評論，認為這實際上只是一個 統計謬誤 （ Association between contextual dependence and replicability in psychology may be spurious ）、van Bavel的反駁（ Reply to Inbar: Contextual sensitivity helps explain the reproducibility gap between social and cognitive psychology ），以及博客：如 A critical comment on “Contextual sensitivity in scientific reproducibility” 。在facebook的評論里，我覺得 Tal Yarkoni的評論非常具有實際的意義：

So I guess that while I support your conclusions here regarding context sensitivity, I would argue that the strongest and most actionable implication of what you're saying is not that people should ease up on replication efforts and criticisms of non-replicability, but that people who know their work is fragile should be very careful to announce that in the title and abstract, and not just in a sentence somewhere in the discussion .

這個問題我也覺得很嚴重：研究者明知自己所研究的效應很微弱卻宣稱自己的結果具有廣泛的意義，這種夸大的問題，可能是非常嚴重的。（關于FB上的討論，可以見這個帖子： facebook.com 的頁面 ）

關于什么因素導致心理學的研究不可重復，這個問題可能可以永遠地爭論下去。不過2016年，不管研究者對可重復性持什么觀點，一些新的研究實踐標準正在慢慢建立起來。 OSC2015，以及van Bavel關于contextual sensitivity的討論，都把他們的數據公開，許多討論中也都附上了他們的分析代碼，這一點，也許是我們最值得跟進的 。

第二個問題是關于研究者應該以何種語氣討論可重復性問題 ，也就是一個tone的問題。這個問題也不是2016年獨有的，Cambridge心理學系的研究者Schnall 2014年就在博客上討論過這個問題：Further Thoughts on Replications, Ceiling Effects and Bullying （ Blog - Department of Psychology ）。原因也很簡單，當一些研究者的結果無法重復時，會有一些人對他們進行人身的攻擊、嘲諷、惡意推斷等。當年Dan Gilbert就在tweeter上說過有些人是little replication bully。到2016年，這個問題成為討論的重點之一，因為Susan Fiske寫了一篇文章，她認為存在一些methodological terrorism。目前，她寫的原始版本仍然在dropbox上保存著： https://www. dropbox.com/s/9zubbn9fy i1xjcu/Fiske%20presidential%20guest%20column_APS%20Observer_copy-edited.pdf 。

正式版本中，Fiske緩和了她的語氣： A Call to Change Science’s Culture of Shaming 。

Fiske在她原來的評論中，認為現在社交媒體發達之后，一些原本應該在學術雜志上進行討論的事情，在社交媒體以及博客上就迅速地展開了，而且是沒有任何審查的。也正是因為如此，所以有許多人身的攻擊和不當的措辭，這種methodoloigcal terrorism的存在，讓很多有學術前途的人離開了學術界。

但是Fiske本人的觀點是代表了主流的意見？到底在是否存在tone的問題？不同的研究者有不同的看法，一些比較好的博客：

Flying Flak and Avoiding “ad hominem” Response | Absolutely Maybe

There is no “tone” problem in psychology

What has happened down here is the winds have changed - Statistical Modeling, Causal Inference, and Social Science （這篇博客還簡單地回顧心理學研究中的可重復問題的歷史）

第三、研究者如何面對自己過去的研究無法重復。

這個問題上有兩種態度：一種是發現自己原來的做法確實有問題，并且在后來的研究中更加重視統計以及研究的嚴謹性問題。這方面的極端代表是自己后面成為研究方法上的專家，比如有代表性的是Daniel Lakens，他現在積極地推進各種統計上更嚴謹的方法，但他之所以這么做，是因為他作為作者之一的第一篇論文（重量的具體認知： Weight as an Embodiment of Importance ，這個研究我在2010年左右重復過，沒有重復出來，說多了都是淚）被人質疑too good to be true，具體可以見他的博客： http:// daniellakens.blogspot.hk /2016/09/why-scientific-criticism-sometimes.html (需要科學上網)。跟他相似的是 Joe Simmons，他們最初的非常“有趣”的研究結果(Daniel the Dentist: Moniker Maladies )后來被發現是假陽性，后來轉而關注研究方法，成為了2011年False Positive Psychology的作者之一: [53] What I Want Our Field To Prioritize - Data Colada 。

另一種態度則是堅持自己原來的 理論 是正確的（注意，是 理論，理論與數據之間的差異，見這我的這個筆記： Improving your statistical inferences第一周 ），并且準備采用一些方法來為自己的研究正名。這方面有代表性的是關于Power Posing效應的兩個作者之間的申明： Power Posing - Sep 20, 2010 的作者分別是：Dana R. Carney, Amy J.C. Cuddy, Andy J. Yap。2016年，一作Dana Carney （現在是伯克利加州大學商學院的副教授）公開表明了自己對Power Posing的態度( http:// faculty.haas.berkeley.edu /dana_carney/pdf_My%20position%20on%20power%20poses.pdf )，核心觀點是：

....

I do notbelieve that “power pose” effects are real

.....

要知道，這個power posing的研究，是TED上最火爆視頻( Your body language shapes who you are )的科學來源。

二作Amy Cuddy對這個表態的反應是：power posing的效應是有的，但是我們需要先把power posing的定義弄清楚....., 具體見這里：

http:// nymag.com/scienceofus/2 016/09/read-amy-cuddys-response-to-power-posing-critiques.html

至于Amy Cuddy的對power posing的定義是否是一種post-hoc justification，每個研究者都有自己的看法。而關于power posing的重復實驗，目前也是非常多的。有興趣應該能夠搜索到。

另外一個社會心理學影響非常大的研究：ego-depletion，在2016年也有了一個多實驗室大規模注冊重復的結果： A Multilab Preregistered Replication of the Ego-Depletion Effect 。 Baumeister對此的反應在這里： Misguided Effort With Elusive Implications 。當然，還有反駁： Commentary: Misguided Effort with Elusive Implications, and Sifting Signal from Noise with Replication Science

當然，2016年，還有許多其他的爭論，但可重復性問題的爭議慢慢進入尾聲時，有人開始反思，為什么心理學的可重復性問題會如此引人注目？原因是多方面的（ Why is the scientific replication crisis centered on psychology? - Statistical Modeling, Causal Inference, and Social Science ），有兩個比較有意思：一是心理學的研究比較開放，很多都可以公開討論；二是沒有涉及太多的利益，所以沒有因為利益關系而被壓制起來。從這個角度來說，心理學的研究者還是可以自豪一些的：起碼，我們的領域沒有太受到利益的捆綁而一直保持低可重復性而無所變化。總體來說，心理學的研究，還是在慢慢進步的。