박준석의 "‘실험 재현성의 위기’ 바로보기"

발표된 실험 결과가 재현되지 않는 ‘재현성의 문제’가 요즘 실험 과학계에서 화두입니다. ‘재현성의 위기’가 무엇이며, 과학자들은 그 위기를 극복하고자 어떠한 노력을 기울이고 있는지를 심리학 박사과정 박준석 님이 정리합니다.

연구부정은 개인의 도덕적 문제 그뿐일까?

[5] 연구부정과 재현성 문제가 무관하지 않은 이유


00STAPcell2.jpg » 약산성 자극으로 만들어진 STAP 세포의 줄기세포 성질을 확인하기 위해 STAP 세포를 쥐의 배아에 주입한 모습. 지난 2014년 7월2일 과학저널 <네이처>는 분화능력이 매우 뛰어난 이른바 ‘스태프(STAP) 줄기세포’를 간편하게 만들 수 있음을 보여 ‘세기의 발견’이라는 평까지 받았던 ‘오보카타 논문’에 오류와 부정이 있다며, 관련 논문들을 모두 취소했다. 논문 발표 153일 만이었다. 출처/ Nature


실 이 글에서 다루고자 하는 문제인 ‘연구 부정’이 재현성 위기 문제와 직접적인 관련이 있는지에 대해서는 다소 논란의 소지가 있다. 어쨌든 연구 부정은 과학적 문제가 아닌 도덕적 문제라고 생각하기 쉽기 때문이다. 하지만 조작된 연구는 어쨌든 사실이 아닐 가능성이 대단히 높고, 실제로 연구 조작 여부에 대한 문제제기 자체가 재현 실패로부터 비롯된 경우가 많기 때문에, 재현성 위기와 완전히 무관하다고 보기는 힘들다. 이에 이 글에서 짧게 다루고 넘어가려 한다.



‘스타에서 나락으로’ 슈타펠 교수의 사례

00dot.jpg

지난 연재의 두 번째 글에서 데이터 조작 사건으로 대학에서 해임되고, 박사학위까지 잃게 된 네덜란드의 심리학자 슈타펠(Diederik Stapel)에 대해 짧게 언급했다. 그는 자신이 심리학자로 활동하는 동안 100여 편의 논문을 발표했는데, 그 중 절반 가량의 논문에서 데이터가 조작되었다는 사실이 드러났고, 해당 논문들은 철회되었다.


충격적이었던 사실은, 그렇게 조작된 논문들 중에는 지도하던 대학원생들의 학위논문이 포함되어 있었다는 것이다. 슈타펠 교수는 학생들에게 데이터 수집을 위한 실험을 시키는 대신, 자신이 직접 데이터를 조작해서 학생들에게 넘겨주곤 했다. 물론 그 데이터들은 논문의 가설을 입증하기에 충분하면서도 조작되었다는 티가 나지 않도록 슈타펠 교수 본인에 의해 정교하게 조작된 것이었다. 연구 부정에 연루된 학생들은 하마터면 어렵게 취득한 학위마저 잃을 뻔했지만, 다행히도 슈타펠 교수의 비행을 조사했던 조사단에서 학생들에게는 책임이 없었다고 결론을 내려, 최악의 사태는 면할 수 있었다.


그렇게 한 순간에 나락으로 떨어져 버렸지만, 사실 슈타펠 교수는 연구 부정의 발각 이전에는 심리학계의 스타였다. 그가 유명해진 계기는 다음과 같다. 2000년대 초반을 전후하여, 그는 의식적으로 눈치채지 못할 정도의 미묘한 자극으로도 사람들의 태도와 행동을 바꿔놓을 수 있다고 주장하는, 여러 편의 논문을 발표했다. 심리학에서는 이를 ‘점화 효과’(priming effect)라 부른다. 슈타펠 교수가 발표한 논문의 예를 들자면, 어떤 사람이 기차역에 앉아 있을 때, 주변 환경이 깨끗한지 더러운지가 그 사람의 인종적 편견에 영향을 미친다는 식이다. 중요한 것은 이 과정이 의식적으로 일어나는 것이 아니라는 점이다. 주변 환경의 청결도는 사람들이 알지 못하는 사이에 태도 및 행동에 영향을 끼친다는 것이다.


이러한 놀라운(?) 발견은 심리학자들의 이목을 끌기에 충분했다. 하지만 이 논문들에 사용된 데이터는 조작된 것이었으며, 따라서 슈타펠 교수의 가설을 아주 명쾌하게 지지했다. 이러한 연구들 덕에 슈타펠 교수는 날로 명성을 얻어갔으며,[1] 마침내 <사이언스>에도 논문을 게재하는 쾌거를 이루었고 , 젊은 나이에 학장으로 선출되기도 했다. 지속적인 연구 부정이 그에게 막대한 학문적, 사회적 명성과 지위를 가져다준 것이다. (한 가지 밝혀두고 싶은 것은, 점화효과 자체는 여전히 심리학적으로 흥미로운 주제라는 점이다. 슈타펠 교수의 논문 조작이 점화효과 자체의 부재를 의미하지는 않으며, 여전히 많은 연구자들이 이 주제에 대해 연구하고 있다.)



치열한 성과 관리, 연구비 경쟁의 구조

00dot.jpg

사실 우리는 이와 같은 사례가 한국, 그리고 최근 일본에서도 있었다는 사실을 잘 알고 있다. 한 순간 양심에 대해 눈을 감으면 부와 지위, 명성이 따라오는 것은 동서양이 크게 다르지 않은 듯하다. 얼마나 좋은 학술지에, 얼마나 영향력 있는 논문을, 얼마나 많이 출간했는가 하는 것이 과학자가 대학 및 연구소에서 일자리를 얻을 수 있는지, 연봉은 얼마나 받을 것인지, 나아가 정년 보장은 받을 수 있는지를 결정한다. 그리고 연구 부정은 이러한 경쟁에서 손쉽게 우위를 차지할 수 있게 해 준다.


이와 관련하여 최근 심화되고 있는, 박사학위 소지자들 간의 일자리 경쟁은 특히 주목할 만하다. 갈수록 박사학위 소지자는 많아지는 데 비해 일자리는 제한되어 있고, 그나마도 ‘좋지 않은’ 일자리의 비중이 점점 늘어나는 추세다. 미 국립과학재단(National Science Foundation)의 자료를 토대로 작성된 다음의 도표는 그런 현실을 반영한다.


00employment.jpg » 출처: http://www.theatlantic.com/business/archive/2013/02/the-phd-bust-americas-awful-market-for-young-scientists-in-7-charts/273339/

 

도표는 미국의 인문, 교육, 과학 등 분야에서 박사학위를 취득한 사람들이 졸업 시점에 어떤 형태로 고용되었는지의 추세를 보여준다. 푸른색 선은 일자리를 구하는 데 성공했음을, 빨간색은 실패했음을, 녹색은 박사후과정 연구원이 되었음을 나타낸다. 한 눈에 보기에도 일자리를 구하는 데 성공한 사람들의 비율이 떨어지고 있으며, 구직에 실패한 사람들과 박사후과정 연구원들의 비율이 높아지고 있음을 알 수 있다. 박사후과정 자체가 비정규직이며, 정규직 구직을 위한 준비 기간의 성격이 강함을 고려하면 이와 같은 추세는 상당히 우려할 만하다.


출처 기사의 웹사이트로 가면 분야별 현황도 함께 볼 수 있는데, 대체로 비슷한 양상을 보이고 있다. 이는 일자리를 두고 신규 박사학위 취득자들이 벌이는 경쟁이 점점 치열해지고 있음을 반영한다. 필자 개인적으로도, 나이 지긋한 교수님들이 예전보다 교수직 취득이 훨씬 어려워졌다고 말씀하시는 것을 자주 듣곤 한다. 더 많은 연구 실적, 예전에는 그다지 요구되지 않았던 2, 3년 가량의 박사후과정 경력, 연구비 제안서 작성 능력 등을 비롯해, 최근 들어 요구사항이 점점 많아지고 있는 추세다. 천신만고 끝에 정규직 연구자로 임용이 되었다 해도 끝이 아니다. 정년 보장을 받기 위해서는 남들보다 뛰어난 연구 실적 및 각종 ‘스펙’ 을 쌓아야 하며, 이를 만족시키기 위해서는 상당한 노력을 기울여야 한다. 연구자가 이혼의 위험이 가장 높은 때가 조교수 시절이라는 농담이 있을 정도니 짐작할 만하다. 정년 보장을 받은 후에도 연구 실적에 대한 압박이 완전히 사라지는 것은 아니며, 연구자들 간 연구비 수주 경쟁이 매우 심해지고 있는 추세다.



과학 내부의 인센티브 구조 되돌아볼 계기로

00dot.jpg

물론 어려워진 여건이 연구 부정이라는 중대한 범죄에 대한 면죄부가 될 수 없음은 자명하다. 그리고 연구자들 간의 심화된 경쟁 및 현재의 인센티브 구조가 연구 부정에 미치는 영향에 대한 인과관계가 명확히 확립된 것도 아니다. 그러나 분명한 것은 앞에서 언급했던 슈타펠 교수의 경우와 같이, 과학자를 평가하는 현재의 기준이 연구 부정을 부추기는 ‘사례’ 들이 존재한다는 것이다. 그리고 슈타펠 교수의 사례뿐 아니라 한국 및 일본에서 있었던 유사한 사례들에서도, 우리는 연구 부정을 저지른 이들이 막대한 경제적, 사회적 이득을 챙겼다는 사실을 기억한다.


사실 우리는 연구 부정만큼 극적이지는 않지만, 과학자들에 대한 인센티브 구조가 재현성에 대한 부정적 결과로 이어지는 사례를 이미 본 적이 있다. 바로 ‘출간 편향’이다. 이는 학술지들이 새롭고 흥미로운 ‘양성’ 결과만을 출간하려 하고, ‘음성’ 결과에는 관심을 가지지 않은 결과, 위양성 결과들이 학술지 상에 만연하는 현상을 일컫는 말이었다.


론 과학의 발전을 위해서는 새로운 발견들이 꾸준히 출간되어야 한다는 데는 의심의 여지가 없다. 그러나 그 이면에 무엇이 있는지도 한 번쯤은 생각해 봐야 한다는 것이 출간 편향 현상에서 우리가 얻을 수 있는 교훈이었다. 아마도 연구 부정에 대해서도 비슷한 점을 생각해볼 수 있을 것이다.


연구자를 평가하는 현재의 기준이 과연 어떤 부작용을 낳고 있는가? 그리고 그 부작용에 대해 어떻게 대처할 수 있을까? 이 문제는 결코 쉬운 문제가 아닐 것이다. 아마도 이 연재에서는 이 문제에 대해서 명쾌한 결론을 내리지 못할 것이다. 한 가지 추측해볼 수 있는 것은, 결국 과학 내부의 ‘인센티브 구조‘의 문제가 아닐까 하는 것이다. 인센티브 구조를 수정함으로써, 개별 연구자들을 연구 부정의 유혹에서 구할 수 있는 묘안이 나오기를 기대해 본다. 그때까지, 그리고 그 이후로도 양심적인 절대 다수의 과학자들은 묵묵히 연구실에서 자신의 맡은 바를 다할 것이다.


[주]

[1] 해당 논문은 현재 철회된 상태다. 원문 보기는 아직 가능하다.  http://science.sciencemag.org/content/332/6026/251


[참고문헌]

http://www.nytimes.com/2013/04/28/magazine/diederik-stapels-audacious-academic-fraud.html?pagewanted=all&_r=0

http://www.theatlantic.com/business/archive/2013/02/the-phd-bust-americas-awful-market-for-young-scientists-in-7-charts/273339/


박준석 미국 오하이오주립대학 심리학 박사과정  

@한겨레 과학웹진 사이언스온  



  [사이언스온의 길목]

페이스북 페이지   https://www.facebook.com/scienceon

트위터   https://twitter.com/SciON_hani

한겨레 스페셜   http://special.hani.co.kr

  • 구글
  • 카카오
  • 싸이월드 공감
  • 인쇄
  • 메일
박준석 미국 오하이오주립대학 심리학 박사과정
학부와 석사과정에서 심리학을 공부했고 현재 인지심리학 박사과정에 재학중이다. 인간의 마음을 수학적으로 모형화하는 분야인 '인지모델링'을 공부하고 있다. 심리학, 뇌과학, 통계학, 기계학습 등 분야에 관심이 있으며, 과학 재현성(reproducibility) 관련 논의에도 관심이 많다.
이메일 : park.1952@osu.edu      

최신글




최근기사 목록

  • “p값 개선하자”…과학자들, 연구가설 검정 ‘문턱값’ 강화 제안“p값 개선하자”…과학자들, 연구가설 검정 ‘문턱값’ 강화 제안

    ‘실험 재현성의 위기’ 바로보기박준석 | 2017. 08. 16

     뉴스 & 해설  통계·심리·경제학 등 72명, 개선제안 논문 펴내 주목과학 재현성 위기 반영 "현행 0.05에서 0.005로 내리자"채택 땐 연구현장에 상당한 변화…한동안 논쟁 이어질듯 최근 정식 출간에 앞서 공개된 한 논문 한 편[1]이...

  • ‘가설검정’ P값, 더 이상 전가의 보도 아니다‘가설검정’ P값, 더 이상 전가의 보도 아니다

    ‘실험 재현성의 위기’ 바로보기박준석 | 2016. 09. 08

    [7] 영가설 유의성검증 절차의 문제점에 대한 해법들 이번 글에서는 과학자들이 연구가설을 검증할 때 사용하는 자료분석 방식인 ‘영가설 유의성검정’, 또는 ‘P값’의 단점들에 대한 극복 방안에 대해 이야기하려 한다. 구체적으로 어떤 문제점들이...

  • ‘연구 사전등록제’, 재현성 위기의 제도적 해법‘연구 사전등록제’, 재현성 위기의 제도적 해법

    ‘실험 재현성의 위기’ 바로보기박준석 | 2016. 07. 11

    [6]위기 해결을 위한 새로운 시도들 ① 재현성 위기는 과학 내적 요인들뿐 아니라 경제적 유인, 사회적 동기 등 다양한 측면들이 복잡하게 얽혀 있으며, 따라서 해결하기 쉽지 않아 보이는 것이 사실이다. 그러나 과학자들은 이에 굴하지 않고 이...

  • ‘통계적으로 유의미한 결과’는 얼마나 유의미할까‘통계적으로 유의미한 결과’는 얼마나 유의미할까

    ‘실험 재현성의 위기’ 바로보기박준석 | 2016. 05. 20

    [4] 과학 발전 저해하는 ‘영가설 유의성검정’ 방식 2014년 말 화제가 되었던 이른바 ‘땅콩 회항’ 사건을 아직 기억하는 이들이 많으리라 생각한다. 당시 대한항공 부사장이었던 조현아씨는 자사 비행기의 기내 서비스에 만족하지 못해 비행기를 ...

  • ‘양성결과’ 발표에만 주목, 서랍속에 묻히는 ‘음성결과’‘양성결과’ 발표에만 주목, 서랍속에 묻히는 ‘음성결과’

    ‘실험 재현성의 위기’ 바로보기박준석 | 2016. 05. 04

    [3] ‘출간 편향’ 이란? 이번 글에서는 재현성 위기의 중요한 원인으로 지목되는 ‘출간 편향’(publication bias)에 대해 이야기하려 한다. 이는 아직 대중에는 생소한 개념이지만, 재현성 위기의 다른 원인들과도 관련이 있는 중요한 문제다.출간 ...