박준석의 "‘실험 재현성의 위기’ 바로보기"

발표된 실험 결과가 재현되지 않는 ‘재현성의 문제’가 요즘 실험 과학계에서 화두입니다. ‘재현성의 위기’가 무엇이며, 과학자들은 그 위기를 극복하고자 어떠한 노력을 기울이고 있는지를 심리학 박사과정 박준석 님이 정리합니다.

오랜 정설 실험결과에도 잇단 의문제기… 재현성 위기

[1] 연재를 시작하며


00reproducibility2.jpg » 동물 실험. 출처/ Understanding Animal Research http://www.uar.org.uk/, http://www.acmedsci.ac.uk/viewFile/56314e40aac61.pdf에서 재인용.


리는 흔히 <사이언스>, <네이처>, <셀> 같은 권위 있는 과학학술지에 실린 과학 연구들이라면 분명 믿을 만할 것이라고 생각한다. 실제로 그런 유명 학술지들에 연구논문이 실리기 위해서는 혹독한 동료평가(peer review)를 거쳐야 한다. 그리고 그 과정에서 대부분 연구들이 탈락한다. 일부 학술지의 경우에는 탈락률이 90%를 웃돌 정도로 동료평가 과정은 혹독하기 그지없다. 심지어 학술지 측에서 엄선된 좋은 연구들만을 학술지에 싣기 위해 탈락률을 높여 달라고 평가자(리뷰어)들에게 부탁하기도 한다. 이 모든 과정을 뚫고 살아남아 학술지 지면을 장식하는 연구논문의 수는 극히 적다. 이를 감안한다면, 학술지에 발표된 연구논문들의 신뢰성을 쉽게 의심하기는 힘들다.


그런데 이런 혹독한 과정을 거쳐 살아남은 과학 연구들 중 상당수가 사실은 거짓이라는 의혹이 최근 곳곳에서 제기되고 있다. 실제로 다수의 과학학술지에 실린 연구들을 반복했을 때, 같은 결론을 얻는 데 실패했다는 보고들이 속속 등장하고 있는데, 그런 연구들 중에는 매우 유명한 고전적 연구도 있었다. 다음은 그러한 사례 중 하나이다.



사례: “자아고갈 가설의 실험결과, 재현 어렵다”

00dot.jpg

지난 1998년, 해당 분야 최고의 권위를 자랑하는 <성격 및 사회심리학회지>(Journal of Personality and Social Psychology)라는 과학학술지에 인간의 의지력에 관한 연구가 발표되었다. 이 연구에서 실험 참가자들은 초콜릿 쿠키 굽는 냄새가 가득한 방으로 안내되었다. 로이 바우마이스터(Roy Baumeister)를 비롯한 연구자들은 이들 중 일부에게는 초콜릿 쿠키를 먹도록 하고 다른 참가자들에게는 쿠키 대신 무(radish)를 먹도록 했다. 참가자들이 할당받은 음식을 먹는 동안, 연구자는 밖에 나가 있었다. 무를 먹도록 지시 받은 참가자들은 감시하는 사람이 없는 상황에서 쿠키를 먹고 싶은 욕구를 억누르며 쓰디쓴 무를 먹어야 했다. 사실 연구자는 한 쪽으로만 투명한 감시용 유리창을 통해 이 모든 상황을 감시하고 있었다.


참가자들은 음식을 다 먹은 뒤 어려운 퍼즐을 풀도록 되어 있었는데, 사실 그 퍼즐은 애초에 풀 수 없게 설계된 것이었다. 연구자들이 의도적으로 그렇게 설계했다. 이 실험에서 연구자들은 실험 참가자들이 풀 수 없는 퍼즐을 푸는 데 얼마나 오래 매달리는지를 측정하여, 그것을 ‘의지력’의 척도로 보았다. 실험 결과는 명료했다. 쿠키를 먹고 싶은 욕구를 꾹꾹 눌러 참아가며 무를 먹었던 참가자들은 평균 8.35분 동안 퍼즐 풀이에 매달리다가 포기하고 떠나 버렸다. 반면 쿠키를 먹을 수 있었던 참가자들은 평균 18.9분 가량을 어려운 퍼즐을 풀기 위해 매달렸다. 두 배 가량의 차이가 있었던 것이다.


연구자들은 이를 다음과 같이 해석했다. 욕구를 억누르고 무를 먹어야 했던 사람들은 그 과정에서 의지력을 이미 소모해 버렸기 때문에, 쿠키를 먹은 사람들에 비해 퍼즐 풀이에 오래 매달릴 수 없었다. 다시 말해 인간의 의지력은 ‘한정되어 있는 자원’이며 사용하면 소모되고 충전되기를 기다려야 한다는 것이다.


‘자아 고갈’(ego depletion)로 알려진 이 이론은 그동안 큰 인기를 끌었다. 현재 해당 논문은 3000번 이상 인용되었는데 이는 심리학 분야에서는 보기 드문 높은 인용횟수로, 자아 고갈이라는 개념이 심리학자들 사이에 널리 인정받고 있음을 보여주는 것이라 할 수 있다.


그런데 최근 이 실험을 재현하는 데 실패했다고 보고하는 연구들이 발표되어 충격을 주고 있다. 샤오멍 슈(Xiaomeng Xu)와 그 동료들이 2014년에 발표한 연구결과에 따르면, 바우마이스터 등이 1998년에 수행한 연구를 비슷한 방식으로 반복했을 때 원래 연구에서 그런 것처럼 확실한 차이가 관찰되지는 않았다. 심지어 대학생들을 대상으로 한 연구에서는 ‘자아 고갈’ 집단과 그렇지 않은 집단 간에 과제 수행의 차이가 거의 없는 것이 관찰되었다. 연구자들은 이를 토대로 바우마이스터 등이 내린 결론이 생각보다 견고하거나 일반적이지 않다고 주장했다. 최근 다른 연구자들이 같은 학술지에 발표한 논문도 역시 바우마이스터 등이 1998년에 수행한 연구를 재현하는 데 실패했다고 보고했다. ‘자아 고갈’ 이라는 개념이 이미 학계에 확고히 자리잡은 상황에서 이루어진 이런 재현 실패 보고들은 실로 충격적이었다.



객관성 더 높은 지식 생산의 방법은?

00dot.jpg

00reproducibility.jpg » 의학/생명과학 분야에서도 실험 재현성의 문제는 근래에 중요한 관심사이다. 2015년 영국 과학계에서 나온 보고서. (그림을 클릭 하면 보고서를 내려받을 수 있습니다) ‘재현성 위기(reproducibility crisis)’로 일컬어지는 이러한 현상은 사실 일부 분야에 한정된 문제가 아니라, 다수의 과학 분야들이 겪고 있는 위기 상황이다. 이것이 심해지면 해당 연구들뿐 아니라 과학 활동 자체에 대한 불신이 생겨날 수 있다는 점에서 재현성 위기는 가볍게 볼 수 없는 문제다. 어쩌면 이것은 시작에 불과할지도 모른다. 재현성에 대한 대규모 진단 자체가 시도되지 않은 과학 분야들이 있기 때문이다.


사이언스온의 이 연재에서는 이와 같이 최근 뜨거운 감자로 떠오른 ‘재현성 위기’의 실태, 원인 및 해결 노력에 대해 다룬다. 특히 이 연재에서 궁극적으로 강조하고자 하는 것은 과학이 위기에 빠졌다는 문제의식보다는, 그것을 해결하기 위해 과학자들이 어떻게 노력하고 있는가 하는 것이다. 흔히들 과학에는 자정 기능이 있다고 한다. 과학은 문제가 생겼을 때 그것을 스스로, 다시 말해 과학자들의 노력으로 해결할 수 있는 능력을 갖고 있다는 것이다. 그런 점에서 연재가 보이려 하는 것은 과학이 ‘재현성 위기’ 라는 거대한 늪에 빠졌다는 것이 아니라, 그러한 도전을 과학자들이 어떻게 극복해나가고 있는가 하는 것이다. 그 과정에서, 과학은 의심할 수 없는 지식이 누적적으로 쌓여가기만 하는 단선적 과정이 아닌, 지식 탐구의 ‘과정’ 자체에 대한 치열한 고민과 실천의 과정임이 조금이나마 드러날 수 있다면 더할 나위가 없을 듯하다.


[참고문헌]


[1] Roy E. Baumeister, Ellen Bratslavsky, Mark Muraven, and Dianne M. Tice (1998), Ego Depletion: Is the Active Self a Limited Resource?, Journal of personality and social psychology, 74(5), 1252-1265.

[2] Xu, X., Demos, K.E., Leahey, T.M., Hart, C., Trautvetter, J., Coward, P., Middleton, K., & Wing, R.R. (2014). Failure to replicate depletion of self-control. PLoS ONE, 9(10): e109950. doi:10.1371/journal.pone.0109950

[3] Lurquin JH, Michaelson LE, Barker JE, Gustavson DE, von Bastian CC, Carruth NP, et al. (2016). No Evidence of the Ego-Depletion Effect across Task Characteristics and Individual Differences: A Pre-Registered Study. PLoS ONE 11(2): e0147770. doi:10.1371/journal.pone.0147770


박준석 미국 오하이오주립대학 심리학 박사과정  

@한겨레 과학웹진 사이언스온  



  [사이언스온의 길목]

페이스북 페이지   https://www.facebook.com/scienceon

트위터   https://twitter.com/SciON_hani

한겨레 스페셜   http://special.hani.co.kr

  • 구글
  • 카카오
  • 싸이월드 공감
  • 인쇄
  • 메일
박준석 미국 오하이오주립대학 심리학 박사과정
학부와 석사과정에서 심리학을 공부했고 현재 인지심리학 박사과정에 재학중이다. 인간의 마음을 수학적으로 모형화하는 분야인 '인지모델링'을 공부하고 있다. 심리학, 뇌과학, 통계학, 기계학습 등 분야에 관심이 있으며, 과학 재현성(reproducibility) 관련 논의에도 관심이 많다.
이메일 : park.1952@osu.edu      

최신글




최근기사 목록

  • “p값 개선하자”…과학자들, 연구가설 검정 ‘문턱값’ 강화 제안“p값 개선하자”…과학자들, 연구가설 검정 ‘문턱값’ 강화 제안

    ‘실험 재현성의 위기’ 바로보기박준석 | 2017. 08. 16

     뉴스 & 해설  통계·심리·경제학 등 72명, 개선제안 논문 펴내 주목과학 재현성 위기 반영 "현행 0.05에서 0.005로 내리자"채택 땐 연구현장에 상당한 변화…한동안 논쟁 이어질듯 최근 정식 출간에 앞서 공개된 한 논문 한 편[1]이...

  • ‘가설검정’ P값, 더 이상 전가의 보도 아니다‘가설검정’ P값, 더 이상 전가의 보도 아니다

    ‘실험 재현성의 위기’ 바로보기박준석 | 2016. 09. 08

    [7] 영가설 유의성검증 절차의 문제점에 대한 해법들 이번 글에서는 과학자들이 연구가설을 검증할 때 사용하는 자료분석 방식인 ‘영가설 유의성검정’, 또는 ‘P값’의 단점들에 대한 극복 방안에 대해 이야기하려 한다. 구체적으로 어떤 문제점들이...

  • ‘연구 사전등록제’, 재현성 위기의 제도적 해법‘연구 사전등록제’, 재현성 위기의 제도적 해법

    ‘실험 재현성의 위기’ 바로보기박준석 | 2016. 07. 11

    [6]위기 해결을 위한 새로운 시도들 ① 재현성 위기는 과학 내적 요인들뿐 아니라 경제적 유인, 사회적 동기 등 다양한 측면들이 복잡하게 얽혀 있으며, 따라서 해결하기 쉽지 않아 보이는 것이 사실이다. 그러나 과학자들은 이에 굴하지 않고 이...

  • 연구부정은 개인의 도덕적 문제 그뿐일까?연구부정은 개인의 도덕적 문제 그뿐일까?

    ‘실험 재현성의 위기’ 바로보기박준석 | 2016. 06. 24

    [5] 연구부정과 재현성 문제가 무관하지 않은 이유사실 이 글에서 다루고자 하는 문제인 ‘연구 부정’이 재현성 위기 문제와 직접적인 관련이 있는지에 대해서는 다소 논란의 소지가 있다. 어쨌든 연구 부정은 과학적 문제가 아닌 도덕적 문제라...

  • ‘통계적으로 유의미한 결과’는 얼마나 유의미할까‘통계적으로 유의미한 결과’는 얼마나 유의미할까

    ‘실험 재현성의 위기’ 바로보기박준석 | 2016. 05. 20

    [4] 과학 발전 저해하는 ‘영가설 유의성검정’ 방식 2014년 말 화제가 되었던 이른바 ‘땅콩 회항’ 사건을 아직 기억하는 이들이 많으리라 생각한다. 당시 대한항공 부사장이었던 조현아씨는 자사 비행기의 기내 서비스에 만족하지 못해 비행기를 ...