[16] 신경부호 해독과 ‘마음 읽기’

뇌를 연구하기 위해 시작되었던 신경 해독 기술은 사회적인 필요와 만나서

거짓말을 탐지하거나, 성향을 파악하거나, 미래의 행동을 예측하고,

질병에 걸릴 위험을 예견하는 쪽으로도 확장되고 있다.

뇌의 구조적 특징이나 뇌 활동 패턴으로부터 사람의 마음과 성향을 유추하려는

이러한 시도를 ‘마음 읽기(mind reading)’라고 한다.

» 뇌영상 기술로 마음과 미래를 알 수 있을까? 출처/ pixabay.com

신경세포들이 나타내는 정보의 내용, 또는 신경세포들이 정보를 나타내는 양식을 신경 표상(neural representation)이라고 부른다.[1][2] 신경 표상을 신경 부호(neural code)라고도 한다. 예를 들어, 고양이를 볼 때 신경세포들이 아래 그림과 같이 활성화되었다고 하자. 이 때 신경세포들이 고양이라는 정보를 표상하기 위해 활성화 하는 패턴이 신경 부호이다. 이처럼 고양이라는 정보가 처리되어 신경 부호로 변환되는 과정을 신경 부호화(neural encoding)라고 한다. 한편, 신경세포의 활동을 측정하여 관측된 신경 활동이 ‘고양이’라는 정보를 담고 있음을 알아내는 과정을 신경 해독(neural decoding)이라고 한다.

» 신경 부호화, 신경 부호, 신경 해독. 빨간색으로 표시된 신경세포들이 고양이를 보는 동안 활성화된 신경 세포들이다. 색깔이 짙을수록 더 강하게 활성화되었음을 뜻한다.

신경 해독 연구는 신경 부호와 신경 부호화에 관련된 정보를 제공함으로써 뇌의 동작 원리를 이해하는 데 도움을 준다. 신경 해독 연구의 성과는 심층 인공 신경망에 기반을 둔 인공지능(심화 학습)을 만드는 데도 활용될 수 있다.[3] 예컨대 알파고에 사용되었던 나선형 신경망(convolutional neural network, CNN)은 시각 뇌의 원기둥(column) 구조를 참고해서 만들어졌다.[4]

신경 해독

신경 해독 연구는 시각과 관련한 뇌 영역에서 특히 많이 이루어졌다. 시각에 관련된 뇌 회로는 깊이 연구되었을 뿐 아니라 사람에 따른 차이가 비교적 적기 때문이다.[5]

최근의 한 연구를 살펴보자.[6] 먼저 수천 개의 사진을 보여주는 동안 시각 뇌의 활동을 기능성 자기공명영상(fMRI)으로 관측한다. 이 데이터를 활용해서 피험자가 어떤 사진을 볼 때, 어떤 뇌 활동이 일어나는지 컴퓨터가 학습하게 한다. 그 이후 이전에 보여준 적이 없는 새로운 사진 120개를 보여주면서 뇌 활동을 관찰한다. 그리고 뇌 활동으로 미루어 어떤 사진을 보고 있는지 컴퓨터가 알아맞히게 한다. '"내 탓 아닌 뇌 탓" 주장의 오류' 제목의 이전 글에서 설명한 바와 같이 사람마다 경험과 뇌의 구조, 뇌 활동의 특징이 조금씩 다르기 때문에 이 과정은 피험자마다 이루어져야 한다.

자, 이렇게 했을 때 컴퓨터의 적중률은 얼마나 될까? 사람마다 다르기는 하지만, 높게는92%의 정확도로 알아맞힐 수 있다고 한다. 120개 중 하나를 무작위로 찍어서 알아맞힐 확률이 0.8%임을 생각하면 무시무시한 적중률이다. 최근에는 꿈에서 무엇을 보고 있는지를 알아맞히려는 연구도 이뤄지고 있다.[7]

언어의 신경 부호를 해독하려는 연구도 진행되고 있다. 예컨대 2016년에는 각 단어가 어떤 뇌 영역의 활동과 관련되는지 정리하여 뇌 사전(brain dictionary)을 만들기도 했다.[8] 이 연구에서는 피험자들이 이야기를 듣는 동안 뇌 활동을 관측해서 각 단어를 들을 때 어떤 뇌 영역들이 활성화 되는지를 조사하였다. 연구 결과, 단어들은 좌우 뇌 전역에 걸쳐 두루 표상되고 있었으며, 같은 종류에 속하는 단어들은 대체로 인접한 뇌 영역에서 표상되는 경향을 보였다 (아래 동영상).

[ 유투브 https://youtu.be/k61nJkx5aDQ ]

거짓말 탐지

뇌를 연구하기 위해 시작되었던 신경 해독 기술은 사회적인 필요와 만나서 거짓말을 탐지하거나, 성향을 파악하거나, 미래의 행동을 예측하고, 질병에 걸릴 위험을 예견하는 쪽으로도 확장되고 있다. 뇌의 구조적 특징이나 뇌 활동 패턴으로부터 사람의 마음과 성향을 유추하려는 이러한 시도를 ‘마음 읽기(mind reading)’라고 한다.[9]

마음 읽기 중에서도 기능성 자기공명영상(fMRI)을 활용해서 거짓말을 탐지하려는 시도가 널리 논의되었다. 미국에서는 ‘노 라이 엠아르아이(No Lie MRI)’와‘세포스(Cephos)’라는 두 회사가 기능성 자기공명영상(fMRI)를 활용해 보험 사기나 연애 상대의 바람 여부를 확인해준다고 선전했다. 그러나 이들 회사에서 제시한 뇌영상은 몇 가지 치명적인 이유 때문에 법정 증거로 채택되지 못했다.[10][11]

거짓말을 탐지하려면 거짓말을 할 때의 뇌 활동 패턴과 진실을 말할 때의 활동 패턴을 컴퓨터가 미리 학습해야 한다. 그런데 '"내 탓 아닌 뇌 탓" 주장의 오류' 제목의 이전 글에서 살펴봤듯이, 사람마다 신경 부호가 달라서 이 과정이 개인별로 이뤄져야 한다. 이 과정이 제대로 진행된 다음에야 어떤 사람이 말할 때의 뇌 활동이 그가 거짓말하던 때의 패턴에 가까운지, 진실을 말하던 때의 패턴에 가까운지 분류할 수 있다. 핵심적인 문제가 여기에 있다. 피험자가 거짓말을 하라고 지시 받았을 때 진실을 말하고, 진실을 말하라고 지시 받았을 때 거짓을 말하면 컴퓨터가 제대로 학습할 수가 없다. 시작조차 안 되는 것이다.

그래서 거짓말을 할 때와 진실을 말할 때, 여러 사람의 뇌 활동의 평균을 구해서 이 평균을 일괄적으로 적용하는 대안도 연구되고 있다. 하지만 '"내 탓 아닌 뇌 탓" 주장의 오류'에서 살펴봤듯이, 개인마다 신경망의 특징과 신경 부호가 달라서 논란이 계속되고 있다.

여러 사람의 평균을 개인의 거짓말 탐지에 적용하면 왜 위험한지, 아동 폭력이 뇌에 끼치는 영향을 통해 좀 더 알아보자.[12] 폭력을 경험한 아동의 일부는 성인이 되고 나서 정신질환으로 고통 받지만, 나머지는 건강하게 살아간다. 겉으로 드러난 증상만 보면 후자는 아동 폭력을 경험한 적이 없는 건강한 사람과 비슷하다. 하지만 이들의 뇌를 살펴보면 어려서 폭력을 경험한 뒤 정신질환에 시달리는 성인들의 뇌와 더 유사했다.

어째서 이런 일이 가능한 걸까? 네트워크 속의 한 부분의 작용은 다른 부분들의 작용으로 인해서 상쇄, 보완될 수 있기 때문이다. 아동 폭력을 겪었음에도 정신 질환 증세가 없는 성인의 뇌에서는 현재까지 관측되지 않은 방식으로 뇌 구조가 변해서, 아동 폭력으로 인한 변화를 상쇄하고 있으리라고 추정된다.

이는 신경 네트워크가 여러가지 방법으로 정상적인 상태를 구현할 수 있음을 뜻한다. 하지만 여러 신경 네트워크들을 뭉뚱그린 평균은 이런 다양함을 담아낼 수 없다. 이 경우, 아동 폭력을 겪었던 성인들의 뇌의 평균으로는, 아동 폭력을 겪고도 성인이 되어서 정신 질환에 시달리지 않을 수 있음을 설명하기 어렵다. 여러 사람의 뇌를 평균한 정보로 개인의 거짓말을 탐지하려 할 때도 비근한 문제가 발생할 수 있다.

더욱이 법정과 같이 심리적 압박을 받는 상황에서의 뇌 활동은 편안한 상태에서의 뇌 활동과 크게 다를 수 있다. 따라서 마음이 편한 상태에서의 뇌 활동을 기준으로 학습된 컴퓨터로 법정처럼 긴장된 상황에서의 증언을 검사하면 잘못된 결론이 나올 수 있다.[10]

끝으로 거짓말 탐지 기술은 과거 사건을 정확하게 진술하고 있는지 확인할 목적으로 필요할 때가 많다. 예컨대, 용의자가 범죄 현장에 대한 기억이 있는지 (범인이 아니라면 범죄 현상을 본 적도 없고, 따라서 기억도 없을 것이다), 과거 사건에 대해 거짓 증언을 하는 건 아닌지를 확인하고자 한다. 그런데 ‘기억의 일생: 어떻게 만들어지고 어떻게 변하는가’ 제목의 지난 글에서 살펴본 것처럼 뇌는 사실을 있는 그대로 기억하지 않으며, 기억은 쉽게 바뀌곤 한다.[13][14] 이렇게 기억 자체가 바뀌어 버리면, 위의 모든 기술적 문제들을 해결하더라도 대응할 방법이 없다. 그래서 뇌영상 기술을 사용한 거짓말 탐지는 흥미롭기는 하지만 현실에 적용되기에는 부족한 점이 많다.

성향과 행동의 예측

거짓말 탐지보다는 덜 알려져 있지만 더 무서운 부류의 마음 읽기도 있다. 뇌영상 기술을 사용해서 누군가의 성향을 알아내는 것이다. 예컨대, 사람의 배설물이나 동물의 흔적 등 역겨운 사진을 보여주면서 기능성 자기공명영상(fMRI)으로 뇌 반응을 관측하면 정치적으로 보수인지 진보인지를 95%에 가까운 확률로 맞출 수 있다고 한다.[15]

이 경우, 알아내려고 하는 성향(정치적으로 보수냐 진보냐)이 제시하는 정보(역겨운 사진)와 별 연관성이 없기 때문에, 사람들은 자기도 모르는 사이에 정치 성향처럼 예민한 정보를 넘기게 된다. 재미삼아, 혹은 건강 검진 차원에서 한 검사에서 중요한 개인 정보를 유출할 위험이 있는 것이다.

뇌 활동을 읽어들이는 기술이 발전하면서 최근에는 헤드셋처럼 간단한 장비로도 뇌 활동에 대한 정보를 대강이나마 알아낼 수 있게 되었다 (아래 동영상). 얼마 전 페이스북에서 생각만으로 글자를 타이핑하는 기술을 개발하겠다고 발표했는데, 페이스북에서 사용하려는 장비도 헤드셋처럼 간단한 장비이다.[16] 가장 사적인 영역인 마음에 대한 정보를 어떻게 관리하고 지켜야 할지 미리부터 준비해야 할 것이다.

[ 유투브 https://youtu.be/bposG6XHXvU ]

뇌영상을 활용해서 미래에 그 사람이 어떻게 변할지 예측하는 연구도 진행되고 있다.[17][18] 예컨대 뇌영상을 사용해서 아이들의 작업 기억이 2년 뒤에 얼마나 발달할지 예측하는 연구가 발표된 바 있다. 뇌영상 기술을 활용해서 미래에 정신질환에 걸릴 확률이나 범죄를 저지를 확률을 예측하려는 연구도 늘어나고 있다.

이 연구들은 맞춤형 학습 지원이 필요한 아동을 미리 선별하거나, 정신질환을 예방하거나, 범죄를 사전에 예방함으로써 범죄자들을 돕는다는 ‘선한’ 취지에서 진행되고 있다. 하지만 영화 <마이너리티 리포트>처럼 억울한 사례가 생겨날 수 있고, 선별된 사람들에게 사회적 낙인이 찍힐 수도 있으며, 자기실현적인 예언이 될 위험도 있다.[18] 이런 기술적•윤리적 논란에도 뇌영상으로 사람의 장래를 예측하려는 연구는 늘어가는 추세이다.

뇌: 네트워크 속을 살아가는 네트워크

복잡한 네트워크인 현실과 그런 현실을 살아가는 뇌에서는 신호와 노이즈를 구분하기도 어렵고 온갖 사건이 동시다발로 일어난다. 그래서 직선적이고 정확한 컴퓨터로 뇌를 모델링 하려면 일부러 노이즈를 추가해야 할 때가 많고, 뇌의 활동은 예측하기 어렵다. 삶의 어떤 순간에 내 안의 어떤 부분이 튀어나갈지는 나도 모를 때가 많아서 우리는 살 예정이 없던 물건도 덜컥 사버리곤 한다. 그러니 열 길 물속은 알아도 한 길 사람 속은 모르고, 우리는 ‘그 사람이 그럴 줄은 몰랐다’라는 말을 한 번씩 하면서 산다. 애당초 무엇을 알면 한 사람을 안다고 할 수 있을까?

신경 네트워크는 뇌 이상으로 변화무쌍한 주위 환경의 영향을 받으며 계속해서 변해간다. 그래서 오늘의 나는 어제의 나와도 다르고, 내일의 나와도 다르다. 새해 분위기에 힘입어 굳게 다짐했던 새해 약속이 3일 만에 잊히는 것도 그 때문일 것이다. 우리 삶은 경제, 대통령, 날씨를 비롯한 환경으로부터 총체적인 영향을 받지만, 내년 경제가 어떨지, 다음 대통령은 누가 될지, 내일 날씨가 어떨지는 최고의 전문가들도 예측하기 어렵다. 하물며 그런 세상을 살아가는 개인의 미래를 어떻게 단언할 수 있을까?

그에 반해 ‘이 사람은 보수적이다’라거나 ‘이 사람은 향후 2년 내에 20%의 확률로 우울증에 걸릴 것이다’라는 단정적인 진술은 숨 막히도록 간결하다. 이 문장은 그 사람에 대해 얼마나 많은 걸 알려줄까? 누군가는 이 정보를 가지고 그가 우울증에 걸리지 않도록 ‘도움’을 줄 수 있다고 한다. 하지만 전문가도 예측하기 힘든 세상에서, 도무지 알 수 없는 한 길 사람 속에서, 그 ‘도움’이 진짜 ‘도움’이 되리라고 누가 확언할 수 있을까?

사람의 미래를 예측하려는 연구는 질병이나 범죄처럼 나쁘다고 여겨지는 대상에 집중되어 있다. 아마도 ‘나쁜’ 일이 두렵고 피하고 싶기 때문일 것이다. 이러니 '나쁜' 일에 대한 예측은 일어나지도 않은 ‘나쁜’ 일에 대한 차별로 이어지기 쉽다.

‘나쁜’ 일에 대한 예측은 자기실현적인 예언이 되기도 한다.[19] 과학적 증거까지 보태서 ‘이 사람은 보수적이다’라거나 ‘이 사람은 향후 2년 내에 20%의 확률로 우울증에 걸릴 것이다’라고 말하는 순간 그 말을 듣는 모든 이에게 어떤 영향이든 끼쳐버리기 때문이다. 긍정적인 주가 전망이 기업 실적이 오르기도 전에 주가를 높이고, 사전 선거 결과가 유권자들의 마음에 영향을 주는 것처럼. 더욱이 ‘나쁜’ 일에 대한 예측은 관심을 ‘나쁜’ 일에 대한 염려에 집중시켜 장점과 잠재력을 보기 어렵게 만든다.

아무리 지식이 늘어나도 지식은 세상의 일부밖에 보여주지 못한다. 아는 것은 분명 힘이 되지만 아는 것에만 초점을 집중하면 아는 것이 오히려 문제가 되기도 한다. 우리는 ‘개성을 통해 다양성을 살려내는 딥러닝의 시대로’에서 두꺼워진 DSM(늘어난 지식)에 부정적인 효과도 많음을 살펴보았다. 아직 모르는 것, 불확실한 것에는 나쁜 것만이 아니라 좋은 것도 포함되며, 아는 것만큼 모르는 것도 중요하다. 아는 것이 ‘나쁜’ 일에 대한 불안함을 기반으로 확장되고 있을 때는 더욱 그렇다. 확실한 것, 아는 것에 대한 탐구심 만큼이나 불확실한 것, 모르는 것을 대하는 태도도 중요하지 않을까.◑

[출처와 각주]

[1] Stanley GB (2013) Reading and writing the neural code. Nat Neurosci. 16:259-63.

[2] Borst A & Theunissen FE (1999) Information theory and neural coding. Nat Neurosci. 2:947-57.

[3] Hassabis D et al. (2017) Neuroscience-Inspired Artificial Intelligence. Neuron 95: 245-258.

[4] http://cs231n.github.io/convolutional-networks/

[5] Kay KN & Gallant JL (2009) I can see what you see. Nat Neurosci. 12:245-6.

[6] Kay KN et al. (2008) Identifying natural images from human brain activity. Nature. 452:352-5.

[7] Underwood E (2013) How to Build a Dream-Reading Machine. Science 340:21.

[8] Huth AG (2016) Natural speech reveals the semantic maps that tile human cerebral cortex. Nature. 532:453-8.

[9] Smith K (2013) Reading minds. Nature 502:428-430.

[10] Farah MJ et al. (2013) Functional MRI-based lie detection: scientific and societal challenges. Nat Rev Neurosci. 15:123-31.

[11] Miller G (2010) Science and the law. fMRI lie detection fails a legal test. Science. 328:1336-7.

[12] Teicher MH et al. (2016) The effects of childhood maltreatment on brain structure, function and connectivity. Nat Rev Neurosci. 17:652-66.

[13] Rissman J et al. (2010) Detecting individual memories through the neural decoding of memory states and past experience. PNAS 107:9849-54.

[14] Lacy JW & Stark CE (2013) The neuroscience of memory: implications for the courtroom. Nat Rev Neurosci. 14:649-58.

[15] David Eagleman. The brain: the story of you. Pantheon (2015)

[16] 페이스북 “마음 읽는 기술 개발 중” (한국일보 2017.04.20)

[17] Gabrieli JD et al. (2015) Prediction as a humanitarian and pragmatic contribution from human cognitive neuroscience. Neuron. 85:11-26.

[18] Greely HT et al. (2016) Neuroethics in the Age of Brain Projects. Neuron. 92:637-641.

[19] GL Cohen, DK Sherman (2014) The Psychology of Change: Self-Affirmation and Social Psychological Intervention. Annu. Rev. Psychol. 65:333-371.

송민령 카이스트 바이오 및 뇌공학과 박사과정  

@한겨레 과학웹진 사이언스온  

   [사이언스온의 길목]