[1] 연재를 시작하며

» 동물 실험. 출처/ Understanding Animal Research http://www.uar.org.uk/, http://www.acmedsci.ac.uk/viewFile/56314e40aac61.pdf에서 재인용.

우리는 흔히 <사이언스>, <네이처>, <셀> 같은 권위 있는 과학학술지에 실린 과학 연구들이라면 분명 믿을 만할 것이라고 생각한다. 실제로 그런 유명 학술지들에 연구논문이 실리기 위해서는 혹독한 동료평가(peer review)를 거쳐야 한다. 그리고 그 과정에서 대부분 연구들이 탈락한다. 일부 학술지의 경우에는 탈락률이 90%를 웃돌 정도로 동료평가 과정은 혹독하기 그지없다. 심지어 학술지 측에서 엄선된 좋은 연구들만을 학술지에 싣기 위해 탈락률을 높여 달라고 평가자(리뷰어)들에게 부탁하기도 한다. 이 모든 과정을 뚫고 살아남아 학술지 지면을 장식하는 연구논문의 수는 극히 적다. 이를 감안한다면, 학술지에 발표된 연구논문들의 신뢰성을 쉽게 의심하기는 힘들다.

그런데 이런 혹독한 과정을 거쳐 살아남은 과학 연구들 중 상당수가 사실은 거짓이라는 의혹이 최근 곳곳에서 제기되고 있다. 실제로 다수의 과학학술지에 실린 연구들을 반복했을 때, 같은 결론을 얻는 데 실패했다는 보고들이 속속 등장하고 있는데, 그런 연구들 중에는 매우 유명한 고전적 연구도 있었다. 다음은 그러한 사례 중 하나이다.

사례: “자아고갈 가설의 실험결과, 재현 어렵다”

지난 1998년, 해당 분야 최고의 권위를 자랑하는 <성격 및 사회심리학회지>(Journal of Personality and Social Psychology)라는 과학학술지에 인간의 의지력에 관한 연구가 발표되었다. 이 연구에서 실험 참가자들은 초콜릿 쿠키 굽는 냄새가 가득한 방으로 안내되었다. 로이 바우마이스터(Roy Baumeister)를 비롯한 연구자들은 이들 중 일부에게는 초콜릿 쿠키를 먹도록 하고 다른 참가자들에게는 쿠키 대신 무(radish)를 먹도록 했다. 참가자들이 할당받은 음식을 먹는 동안, 연구자는 밖에 나가 있었다. 무를 먹도록 지시 받은 참가자들은 감시하는 사람이 없는 상황에서 쿠키를 먹고 싶은 욕구를 억누르며 쓰디쓴 무를 먹어야 했다. 사실 연구자는 한 쪽으로만 투명한 감시용 유리창을 통해 이 모든 상황을 감시하고 있었다.

참가자들은 음식을 다 먹은 뒤 어려운 퍼즐을 풀도록 되어 있었는데, 사실 그 퍼즐은 애초에 풀 수 없게 설계된 것이었다. 연구자들이 의도적으로 그렇게 설계했다. 이 실험에서 연구자들은 실험 참가자들이 풀 수 없는 퍼즐을 푸는 데 얼마나 오래 매달리는지를 측정하여, 그것을 ‘의지력’의 척도로 보았다. 실험 결과는 명료했다. 쿠키를 먹고 싶은 욕구를 꾹꾹 눌러 참아가며 무를 먹었던 참가자들은 평균 8.35분 동안 퍼즐 풀이에 매달리다가 포기하고 떠나 버렸다. 반면 쿠키를 먹을 수 있었던 참가자들은 평균 18.9분 가량을 어려운 퍼즐을 풀기 위해 매달렸다. 두 배 가량의 차이가 있었던 것이다.

연구자들은 이를 다음과 같이 해석했다. 욕구를 억누르고 무를 먹어야 했던 사람들은 그 과정에서 의지력을 이미 소모해 버렸기 때문에, 쿠키를 먹은 사람들에 비해 퍼즐 풀이에 오래 매달릴 수 없었다. 다시 말해 인간의 의지력은 ‘한정되어 있는 자원’이며 사용하면 소모되고 충전되기를 기다려야 한다는 것이다.

‘자아 고갈’(ego depletion)로 알려진 이 이론은 그동안 큰 인기를 끌었다. 현재 해당 논문은 3000번 이상 인용되었는데 이는 심리학 분야에서는 보기 드문 높은 인용횟수로, 자아 고갈이라는 개념이 심리학자들 사이에 널리 인정받고 있음을 보여주는 것이라 할 수 있다.

그런데 최근 이 실험을 재현하는 데 실패했다고 보고하는 연구들이 발표되어 충격을 주고 있다. 샤오멍 슈(Xiaomeng Xu)와 그 동료들이 2014년에 발표한 연구결과에 따르면, 바우마이스터 등이 1998년에 수행한 연구를 비슷한 방식으로 반복했을 때 원래 연구에서 그런 것처럼 확실한 차이가 관찰되지는 않았다. 심지어 대학생들을 대상으로 한 연구에서는 ‘자아 고갈’ 집단과 그렇지 않은 집단 간에 과제 수행의 차이가 거의 없는 것이 관찰되었다. 연구자들은 이를 토대로 바우마이스터 등이 내린 결론이 생각보다 견고하거나 일반적이지 않다고 주장했다. 최근 다른 연구자들이 같은 학술지에 발표한 논문도 역시 바우마이스터 등이 1998년에 수행한 연구를 재현하는 데 실패했다고 보고했다. ‘자아 고갈’ 이라는 개념이 이미 학계에 확고히 자리잡은 상황에서 이루어진 이런 재현 실패 보고들은 실로 충격적이었다.

객관성 더 높은 지식 생산의 방법은?

» 의학/생명과학 분야에서도 실험 재현성의 문제는 근래에 중요한 관심사이다. 2015년 영국 과학계에서 나온 보고서. (그림을 클릭 하면 보고서를 내려받을 수 있습니다) ‘재현성 위기(reproducibility crisis)’로 일컬어지는 이러한 현상은 사실 일부 분야에 한정된 문제가 아니라, 다수의 과학 분야들이 겪고 있는 위기 상황이다. 이것이 심해지면 해당 연구들뿐 아니라 과학 활동 자체에 대한 불신이 생겨날 수 있다는 점에서 재현성 위기는 가볍게 볼 수 없는 문제다. 어쩌면 이것은 시작에 불과할지도 모른다. 재현성에 대한 대규모 진단 자체가 시도되지 않은 과학 분야들이 있기 때문이다.

사이언스온의 이 연재에서는 이와 같이 최근 뜨거운 감자로 떠오른 ‘재현성 위기’의 실태, 원인 및 해결 노력에 대해 다룬다. 특히 이 연재에서 궁극적으로 강조하고자 하는 것은 과학이 위기에 빠졌다는 문제의식보다는, 그것을 해결하기 위해 과학자들이 어떻게 노력하고 있는가 하는 것이다. 흔히들 과학에는 자정 기능이 있다고 한다. 과학은 문제가 생겼을 때 그것을 스스로, 다시 말해 과학자들의 노력으로 해결할 수 있는 능력을 갖고 있다는 것이다. 그런 점에서 연재가 보이려 하는 것은 과학이 ‘재현성 위기’ 라는 거대한 늪에 빠졌다는 것이 아니라, 그러한 도전을 과학자들이 어떻게 극복해나가고 있는가 하는 것이다. 그 과정에서, 과학은 의심할 수 없는 지식이 누적적으로 쌓여가기만 하는 단선적 과정이 아닌, 지식 탐구의 ‘과정’ 자체에 대한 치열한 고민과 실천의 과정임이 조금이나마 드러날 수 있다면 더할 나위가 없을 듯하다.◑

[참고문헌]

[1] Roy E. Baumeister, Ellen Bratslavsky, Mark Muraven, and Dianne M. Tice (1998), Ego Depletion: Is the Active Self a Limited Resource?, Journal of personality and social psychology, 74(5), 1252-1265.

[2] Xu, X., Demos, K.E., Leahey, T.M., Hart, C., Trautvetter, J., Coward, P., Middleton, K., & Wing, R.R. (2014). Failure to replicate depletion of self-control. PLoS ONE, 9(10): e109950. doi:10.1371/journal.pone.0109950

[3] Lurquin JH, Michaelson LE, Barker JE, Gustavson DE, von Bastian CC, Carruth NP, et al. (2016). No Evidence of the Ego-Depletion Effect across Task Characteristics and Individual Differences: A Pre-Registered Study. PLoS ONE 11(2): e0147770. doi:10.1371/journal.pone.0147770

박준석 미국 오하이오주립대학 심리학 박사과정  

@한겨레 과학웹진 사이언스온  

  [사이언스온의 길목]