[2] 뇌, 컴퓨터, 인공신경망, 그 작동의 방식들

» 출처 / www.flickr.com

“뇌는 하드웨어, 마음은 소프트웨어”

제법 익숙한 비유다. 그런데 정말 그럴까?

이 비유는 인지과학이 컴퓨터와 뇌의 작동 방식이 유사하다고 여기던 시절에 생겨났다.[1] 인지과학(cognitive science)은 언어, 시각, 기억, 사고 등 의식의 메커니즘을 연구하는 분야로, 최초의 컴퓨터인 에니악(ENIAC)이 등장하고 얼마 되지 않았을 무렵에 인공지능이라는 분야의 탄생과 더불어 태동했다. 당시 새롭게 떠오른 컴퓨터의 영향이 지대했던 탓에, 인지과학 내에서는 마음을 컴퓨터처럼 보는 시각이 오랫동안 주류를 이루게 되었다. 문턱값을 넘는 세기의 입력이 들어왔을 때만 활동전위(action potential, ☞ 아래 ‘인공 신경망’ 소절에 용어 설명)를 일으키는 신경세포의 “모 아니면 도” 같은 특성이 0과 1을 사용하는 컴퓨터와 비슷하다는 점도 이런 경향을 부채질 했다.

마음이 컴퓨터처럼 동작한다면

마음이 컴퓨터처럼 동작한다면 어떤 특징을 가지게 될까? 오른쪽 순서도(flow chart)는 X라는 변수의 값이 1보다 크면 여기에 3을 곱한 뒤에 Y라는 변수에 더하고, X의 값이 1보다 작으면 2를 곱한 뒤 Y에 더하는 과정을 보여준다. 이제 자바나 C++ 등 프로그래밍 언어로 오른쪽 순서도의 코드를 짜는 경우를 한번 상상해보자.

» Y = 1이고 X = 100인 경우를 생각해 보자. X >1 이므로 3을 곱한 뒤 Y에 더해야 한다. 즉, 100 × 3 + 1 = 301이 Y값이 된다. 이번에는, Y = 1이고 X = -5인 경우를 생각해 보자. X >1이 아니므로 2를 곱한 뒤 Y에 더해야 한다.즉, (-5) × 2 + 1 = -9 가 Y 값이 된다. 먼저 숫자 형태의 변수 X, Y를 설정해야 한다.[2] 그 다음, 변수들을 가지고 수행할 연산을 순서대로, 구체적이고 분명하게 명시해 준다. 오른쪽 그림에서 X값에 3을 곱하는 단계 다음에 Y에 더하는 단계가 오는 것과 마찬가지다. 따로 설정을 해주지 않는 한 이 순서가 바뀌거나 뒤집어지는 경우는 없다. 이처럼 컴퓨터는 순차적이고(serial), 논리적인 특성을 지닌다.[3]

순차적인 계산을 하다가 특정한 경우(예컨대, 순서도에서 X > 1이 아닌 경우)에 다른 연산을 해야 한다면 이에 대해서 일일이 지시(No 화살표 부분)를 해 줘야 한다.[3] 이처럼 일일이 설정을 해줘야 하기 때문에 컴퓨터의 연산은 정확한 대신 생명체들보다 경직돼 있고, 조건문으로 설정이 되지 않은 상황을 만나면 대응하지 못한다.

어떤가? 내가 물건을 사고, 일을 할 때 머릿속에서 일어나는 과정과 제법 비슷한 것 같은가? 혹시 어딘지 묘~하게 불편하지 않은가? 알파고를 만든 구글 딥마인드의 최고경영자(CEO)인 하사비스는 전산학(computer science) 학부를 전공한 다음에, 인지신경과학(cognitive neuroscience)에서 박사과정을 밟고, 계산신경과학 (computational neuroscience) 분과에서 연구원으로 활동했다. “아, 뭐라 하는 거야”라는 탄식이 절로 나올만한 저 학과 이름들에 인지과학과 인공지능의 트렌드가 반영돼 있다. 컴퓨터를 통해서 의식를 이해하고 인공지능을 개발하던 시기에서, 뇌를 통해서 의식을 이해하고 인공지능을 개발하려는 시기로 변하고 있는 것이다.

하사비스는 이렇게 뇌 신경망(neural network)에서 일어나는 기억과 회상의 메커니즘을 연구한 뒤에 딥마인드를 설립했고, 이후로도 뇌 신경망에 대한 연구를 계속해 왔다.[4][5]

왜? 신경망이 어떤 것이길래?

인공 신경망

» 인공 신경망. 출처/ https://commons.wikimedia.org/ 인공 신경망(artificial neural network)은 오른쪽 그림처럼 개별 단위(unit, 그림에서 동그라미)들로 구성된 층(layer)으로 이루어져 있고, 각 단위들은 같은 층 또는 다른 층의 단위들과 연결(그림에서 화살표)되어 있다.[3] 각 단위들이 신경세포를 모방한 방식으로 작동하고, 단위들 간 연결의 세기가 신경 세포들간의 연결인 시냅스의 세기와 유사한 방식으로 변하기 때문에 이를 인공 ‘신경망’이라고 부른다.

생물체의 신경세포들은 어떻게 동작할까? ‘시냅스전(前) 신경세포’가 신경전달물질을 시냅스에 분비하여 ‘시냅스후(後) 신경세포’에 신호를 전달한다(아래 그림). 시냅스후 신경세포의 수상돌기(dendrite)를 따라 들어간 자극들은 세포체 쯤에서 합해지는데, 합해진 자극의 총합이 문턱값을 넘으면 ‘활동전위(action potential)’가 생겨난다.

‘활동전위’란 신경세포의 세포체 쯤에서 시작해서 축삭돌기 끝까지 이동하는(‘활동/action’ 하는) 전기신호(‘전위/potential’)인데, 이 전기 신호가 축삭돌기 끝에 도달하면 신경전달물질이 시냅스로 분비된다. 들어온 자극 총합이 클수록 활동전위 빈도가 커지고, 더 많은 신경전달물질이 분비되므로, 다음 신경세포에 전달하는 신호가 강해진다. 이때 두 신경세포 간의 시냅스 효율이 좋으면 좋을수록, 시냅스후 신경세포는 시냅스전 신경세포에 더 민감하게 반응한다.

» 인공 신경망의 단위들은 뇌속 신경망의 신경세포들과 유사한 방식으로 동작한다. 뇌속 신경망의 작동과 인공신경망의 활성함수(activation function). 출처 / https://commons.wikimedia.org/wiki/File:ANN_neuron.svg. https://en.wikibooks.org/wiki/

이와 유사하게, 인공신경망의 다음 층의 단위(시냅스후 신경세포에 해당)는 이전 층의 단위들(시냅스전 신경세포에 해당)의 입력을 받는다. 여기에서 ‘연결의 세기’는 ‘시냅스 효율’에 해당하며, 연결 세기가 강할수록 이전 단위에서 오는 입력에 더 큰 영향을 받는다. 이전 층 단위들에서 오는 입력의 총합이 문턱값을 넘으면 입력 총합의 크기만큼 출력을 내보낸다.

» 밥의 출력은, 스파게티의 출력은? 신경망에서는 들어오는 입력이 동일하더라도 단위들 간 연결 세기가 달라지면 출력이 달라진다. 예컨대 아래 신경망에서, 숨은 층(hidden layer)의 단위 “밥”과 “스파게티”는 똑같은 입력을 받았지만 출력의 세기가 다르다. 이는 “밥”이 입력 층(input layer)의 단위인 “마늘”, “밀가루”와 연결된 세기가 약한 반면에, “스파게티”가 그것들과 연결된 세기는 더 강하기 때문이다.

따라서 단위들 간 연결 세기를 변화시키면, 같은 입력을 받고도 다른 출력을 내게 된다. 이것이 신경망에서 일어나는 학습의 핵심이다. 알파고가 여러 대국을 시뮬레이션하면서 학습할 때 변하는 중요한 요소 중의 하나가 바로 이 연결 세기다.

컴퓨터와는 달라도 너무 다른 신경망

휴우~ 복잡한 내용은 얼추 끝났다. 정신을 가다듬고, 컴퓨터의 특징을 다시 떠올려 보자. 컴퓨터는 코드의 첫줄부터 끝줄까지 한방향으로 진행한다. 뇌와 신경망은 그렇지 않다.

오른쪽에서 난 소리를 입력, 머리를 오른쪽으로 돌리겠다는 결정을 출력이라고 생각해보자. 오른쪽에서 난 소리를 듣고(입력), ‘이게 무슨 소리지?’ 하며 오른쪽으로 고개를 돌려야겠다는 결정(출력)을 내리는 경우가 있을 수 있다. 반대로 오른쪽에서 나는 소리에 주의를 집중하기 위해 머리를 오른쪽으로 돌려야겠다는 결정(출력)을 내린 뒤에, 오른쪽에서 나는 소리(입력)를 들을 수도 있다.[6]

인공 신경망도 이처럼 입력층에서 출력층으로, 출력층에서 입력층으로 양방향으로 신호를 보낼 수 있다. 특히 출력에서 입력으로 가는 역전파(back propagation)는 출력과 정답 사이의 오차(error)에 따라 신경망의 연결 세기를 조율하는 데 이용될 수 있다.[3] 출력 결과가 정답보다 강하면 해당 출력을 이끌어낸 연결들을 약화시키고, 정답보다 약하면 해당 출력을 이끌어낸 연결들을 강화시키는 식이다. 앞서 다룬 “한식”과 “양식” 신경망 학습의 (4)단계에서 하는 것이 이것이다. 이때 출력과 정답 사이의 오차의 크기가 크면 연결들의 세기를 많이 변화시키고, 오차의 크기가 작으면 조금만 변화시킨다.[7] 참 상식적인 해결책이다.

» 전방향 전파와 역전파. 출처. http://neuralnetworksanddeeplearning.com/ 그런데 이 상식적인 해결책이 지닌 효과는 어마무시하다. 컴퓨터처럼 조건문으로 일일이 이래라 저래라 지시하지 않아도, 오차에 따라 어찌저찌 연결 세기를 조절하다 보면 정답을 출력하는 적절한 연결 세기들로 변하게 되는 것이다! 즉, 문제를 해결하는 능력을 스스로 터득하는 쪽에 가깝다. 다양한 입력 데이터를 왕창 넣고 돌리면서 출력이 맞는지 틀린지만 알려주면, 신경망이 정답과 출력의 오차만큼 연결 세기들을 수정해가며 학습한다니… 끝내주지 않는가!

물론, 이렇게 단순할 리는 없다. 해결하려는 문제에 따라서 필요한 신경망의 구조(architecture)는 크게 달라지기도 있다. 중간에 여러개의 숨은 층을 넣어야 하기도 하고, 병렬로 다른 층들을 배치하기도 한다. 그밖에도 여러 알고리즘이 필요하고 수많은 매개변수(parameter)들의 값을 조정해야 한다. 그럼에도 역전파 알고리즘이 가져다준 가능성은 엄청나서 혹독한 비난을 받고 10여년 이상 위축되어 있던 신경망 연구를 부활시켰다.

» 왼쪽: 시각인식 메커니즘 연구를 위한 신경망[8]. 오른쪽: 해마(hippocampus)의 기억 메커니즘 연구를 위한 신경망[9].각 층(layer)에 배열된 회색의 작은 사각형들은 각각이 하나의 단위(unit)가 아니라 4×4, 8×8, 7×7 등 여러 개의 단위들이 모인 것이다.

신경망을 활용하는 해법에는 몇 가지 약점이 있다. 설사 신경망이 정답을 도출했다고 하더라도, 도대체 어떤 논리로 문제를 해결했는지 개발자조차 알아내기가 어렵다는 것이다. 신경망이 문제를 해결했을 때 개발자가 알 수 있는 것은 신경망의 구조와 연결 세기들 뿐이다. 각각의 연결 세기와 단위가 무엇을 의미하는지는 다양한 입력에 따른 출력을 보면서 추론하는 수밖에 없는데 이게 만만치가 않다.

더욱이 장기판에서 말 하나하나의 규칙을 아는 것과 장기를 두는 것이 다르듯이, 각각의 연결 세기와 단위의 의미를 아는 것과 여러 연결 세기와 단위들이 모인 신경망의 의미를 아는 것은 또 다른 문제다. 이러니 개발자인 하사비스조차 알파고가 왜 그런 수를 두었는지 잘 모른다고 할 때가 있는 것이다. 이는 분명하게 명시된 변수들을 가지고, 논리에 따라, 순서대로 연산하는 전통적 컴퓨터와 대비되는 특징이다.

또한 인공 신경망에는 빠른 컴퓨팅 파워와 큰 저장 용량이 필요하다. 예컨대, 2000개, 1000개, 500개  단위를 가진 층 3개로 이루어진 ‘작은’ 신경망도 학습을 시키려면 1회 입력당 2000 × 1000 + 1000 × 500 = 250만 개의 연결 세기를 업데이트 해야 한다. 그런데 물체 인식, 자연어 처리와 같은, “인공지능이라면 이 정도는 해줘야” 한다고 여겨지는 문제들을 해결하기 위해 필요한 층의 수는 3 정도가 아니다. 2015년 마이크로 소프트는 이미지에서 물체를 인식하는 문제를 풀기 위해 무려 152층의 신경망을 사용했다.[10] 깊어도 아주 깊은(deep) 신경망이 필요한 것이다. 더욱이 물체 인식 정도의 기능을 학습시키려면 훨씬 더 크고 복잡한 신경망에 수백만 개의 입력을 보여주는 과정을 여러번 반복해야 한다.

심화학습의 탄생

이처럼 엄청난 규모의 계산 부담은 2000년대 후반, 대용량의 정보를 빠르게 처리하는 그래픽처리장치, 즉 GPU(Graphics Processing Unit)가 등장하면서 해결되기 시작했다.[11] GPU는 전통적인 중앙처리장치(CPU)처럼 한줄로 쭉 세워놓고 하나씩 순서대로 처리하는 것이 아니라, 병렬적으로 (여러 줄에 나눠 세워놓고 그 여러줄을 동시에) 빠르게 처리한다. 게다가 소셜 네트워크 서비스[SNS]로 인한 빅데이터의 출현과, 디지털 측정장비의 발전 덕분에 인공 신경망 학습에 사용될 수 있는 디지털 정보가 급증했다. 빠른 컴퓨팅 파워와 큰 저장용량, 대량의 디지털 정보라는 저변 여건이 갖춰지면서 인공 신경망은 ‘심화학습(deep learning)’이라는 이름으로 새롭게 탄생했다.

[ 참고 동영상, TED, https://youtu.be/t4kyRyKyOpo ]

앞에서 비교했듯이 인공 신경망(혹은 심화학습)은 기존 컴퓨터와 질적으로 다르다. 알파고가 프로바둑 기사를 이긴 것이 대단한 이유는, 바둑은 경우의 수가 너무 많아서 전통적인 컴퓨터처럼, 모든 경우의 수를 계산한 다음 최선의 수를 고르는 전략이 불가능하기 때문이다. 바둑에서 가능한 위치들의 수는 10의 171제곱으로, 우주에 존재하는 전체 원자의 숫자보다도 많다고 한다.[12]

» 우주에 존재하는 원자의 수보다 경우의 수가 많다는 바둑. 출처/ www.youtube.com1997년 세계 체스 챔피언을 이긴 딥블루는 전통적인 방식으로 경기했다. 반면 알파고는 무수한 횟수의 경기를 하는 동안 앞서 설명한 강화 학습을 통해 인공 신경망의 연결 세기들을 다듬어 간다. 이 과정에서 상대방이 어디에 둘지, 어떤 판에서 어디에 뒀을 때 승률이 높아지는지에 대한 “감각”을 다져간다.  이 “감각” 덕분에 모든 경우의 수가 아닌, 그럴 법한 경우들만 골라내어 계산하고도 훌륭한 수를 둘 수 있게 되는 것이다.[13]

혹시 알파고가 미리 학습한 경기 데이터를 저장했다가 사용한 건 아닐까? 이것 역시 기존의 컴퓨터와 신경망의 차이를 제대로 이해하지 못해서 생겨난 오해다. 알파고는 강화학습을 통하여 바둑을 잘 두는 연결 세기들을 가진 신경망을 갖게 되었을 뿐, 과거의 경기 데이터를 저장하고 있지는 않다. 따라서 저장된 데이터라기 보다는 학습된 능력(감각, 또는 직관)이라는 표현이 더 정확하다.

알파고의 이런  작동 방식은 인간의 직관과 유사해 보인다. 한 영역에서 오래 전문성을 쌓은 대가들은 예리한 판단을 신속하게 내리면서도 자신이 왜 그런 선택을 내렸는지 논리적으로 조목조목 설명하지 못한다. 그래야 한다고 직관적으로 느낄 뿐이다. 이것은 뇌 속에서 일어나는 대부분의 활동을 의식적으로 지각할 수 없기 때문이다. 마치 우리 대부분은 “걸어가기”의 전문가지만, 걸어가는 동안 허벅지 근육 몇 개를 어떤 타이밍에 얼마나 세게 수축해야 한다는 것을 의식적으로는 알지 못하는 것과 마찬가지이다. 반면 알파고는 다져진 감각으로 내린 선택들의 성공률을 오목조목 추산할 수 있다.

알파고가 워낙 경기를 잘 했던 탓에, 알파고의 작동이 잘못 의인화된 경우가 더러 있다. 그 중 하나가 “실수”다. 무엇이 정답인지 알고 있는데도 엉뚱한 행동이 나왔을 때 우리는 “실수했다”고 한다. 예컨대 “좌회전 해주세요”라는 말을 하려고 했는데 실제 입으로는 “우회전 해주세요”라고 말하는 것이 실수다. 이런 실수는 “좌회전”과 깊이 연관된 “우회전”이라는 단어가 “좌회전”을 말하려고 준비하는 동안 덩달아 활성화되었다가 튀어나가 생긴다. 그러나 하드웨어 오작동이나 통신 오류가 아닌 바에야, 알파고가 계산해낸 수와 다른 수를 둘 가능성은 없어 보인다.

또 사람은 허둥거리다가 봐야 할 것을 미쳐 보지 못해서 실수를 하기도 한다. 반면 알파고는 전략상 따져보기로 결정한 만큼을 따져보고는 계산 결과를 내므로 알파고가 허둥거리다가 실수를 한다는 것도 있을 수 없다. 알파고는 하던 대로 했는데, 사람이 보기에는 “저 실력에 어찌 저런 엉뚱한 수를…” 할 만큼 뜻밖의 수이니까 “실수”처럼 보일 뿐이다.

뇌과학과 인공지능 연구의 협력과 발전

인공 신경망의 구조에서 드러나듯이, 인공 신경망은 뇌과학에 있는 많은 부분을 참고했다. 뇌과학 또한 인공 신경망 연구에서 많이 배우고 있다. 예컨대, 신경망이 제대로 동작하려면 다음 층의 단위를 활성화시키는 것뿐 아니라, 단위들끼리 경쟁하고 억제시키는 것도 대단히 중요하다. 인공 신경망 연구에서 이뤄진 이런 발견에 따라, 최근 뇌과학에서는 다른 신경세포를 활성화시키는 신경세포뿐 아니라 억제성 신경세포에 대해서도 관심을 기울이고 있다.[14]

뇌과학과 인공지능 연구의 상호 협력과 발전은 앞으로도 계속될 전망이다. 오바마가 추진하는 ‘브레인 이니셔티브(BRAIN Initiative, The Brain Research through Advancing Innovative Neurotechnologies Initiative)는 최첨단 기술을 총동원 하여 뇌의 세부적 연결 구조와 작동 방식을 낱낱이 파악하는 것을 목표로 한다. 휴먼 게놈 프로젝트에 비견할 만한 규모인 이 프로젝트에는 뇌 신경망에 대한 최신 지식을 동원하여 더 나은 인공지능을 만드는 것(MICrONS; The Machine Intelligence from Cortical Networks program)도 포함되어 있다.[15]

[ 참고 동영상, https://youtu.be/8YM7-Od9Wr8 ]

브레인 이니셔티브가 끝나고 나면, 우리는 정말로 뇌와 마음의 지도를 갖게 될까? 이미 놀라운 수준에 이른 인공지능은 훨씬 더 멀리 발전하게 될까? 새 천년을 맞이하던 16년 전, 우리는 휴먼 게놈 프로젝트를 ‘뉴 밀레니엄 최고의 발견’이라 부르며 들떠 있었다. 인간의 설계도(blue print)인 인간 유전체 정보가 분석되고 나면, 온갖 분야에서 엄청난 혁신과 변화가 일어나리라고 예상했다. 염려하고 두려워하는 이들도 많았다.

그런데 결과는 예상과 너무도 달랐다. 인간 유전체 정보를 인간의 설계도라 부르기에, 유전자의 발현은 환경의 영향을 너무 많이 받았다. 유전체에서 단백질 정보를 담고 있는 부분도 극히 일부에 불과했다. 결국 휴먼 게놈 프로젝트 이후, 환경과 유전자 발현의 관계를 연구하는 후성유전학(epigenetics) 분야가 떠올랐다. 휴먼 게놈 프로젝트를 통해 우리가 알아낸 것보다 더 많은 것을 모르고 있음을 깨닫게 된 것이다.

[ 참고 동영상, https://youtu.be/F5LzKupeHtw ]

물론 성과가 없었던 것은 아니다. 휴먼 게놈 프로젝트를 위해서 개발되었던 기술이 후성 유전학, 유전공학, 진화학, 의학 발전을 이끌었고, 일부 성과는 암 치료에 활용되기도 하였다.

그리고 사회를 바꾸었다. 애시당초 유전체를 설계도에 은유한 것은, 개개인의 차이가 타고난 속성(유전자)에서 비롯한다고 보았기 때문이다. 어찌보면, 이것은 순수하고 절대적인 속성(이데아)을 상정하는 서양 문화와도 관련이 깊다. 이런 속성을 상정하기 때문에 어떤 속성(유전자)를 가졌느냐에 따라서 대상을 쪼개고 분류할 수 있고(개체분절적 성향), 절대적 속성(이데아)이 변하지 않는 순수한 것이기에, 그런 속성을 지닌 대상은 쉽게 변하지 않으리라고 여길 수 있다(서양문화권에서 시간 개념의 부재). 헐리우드 영화에서 악인은 배려의 여지없이 철저한 악인이고, 처음부터 끝까지 시종일관 악인인 것처럼.

그런데 환경이 유전자에 지대한 영향을 끼친다는 사실이 밝혀짐에 따라 환경과 독립적으로 존재하는 속성(이데아)을 상정하는 해묵은 습관이 변하기 시작했다. 한때 개인에게 과도한 자유와 책임을 부과하는 자유주의를 만들어냈던 문화에서 심지어 자아와 자유의지란 환상에 불과한 게 아니냐는 논의가 일어나고 있다. 또, 환경의 영향을 간과한 채 범죄자나 정신질환을 가진 개인(썩은 사과)을 격리-처벌하는 방식에서, 개인을 그런 지경에 이르게 한 환경(썩은 사과를 양산하는 상자, 시스템)을 개선하려는 쪽으로 옮겨가고 있다. 이래서 인간에 대한 이해가 소중하다. 우리는 세상을 보는 대로, 세상을 만들어간다.

[ 참고 동영상, TED, https://youtu.be/PY9DcIMGxMs ]

아마 브레인 이니셔티브도 휴먼 게놈 프로젝트와 비슷하게 되지 않을까? 브레인 이니셔티브도 우리에게 뭔가를 알려주고, 또 우리가 무엇을 모르고 있는가를 알려줄 것이다. 과거에 컴퓨터와 인간을 비교했듯이, 인공지능과 인간을 비교하며 인간을 오해하고, 또 이해하게 될 것이다. 그리고 그렇게 바뀐 인간에 대한 이해에 따라 우리 사회의 면면을 또다시 바꾸어가며, 지금으로선 상상할 수 없는 어떤 새로운 프로젝트를 시작하게 될 것이다.

다음 연재에서는 신경망의 작동방식을 살펴보면서 자아가 정말로 환상일지에 관해 같이 한번 고민해 보자.◑

[출처와 각주]

※ 동영상 화면 하단의 설정(톱니바퀴 모양)를 클릭하고서

자막(subtitles)을 클릭하여 자막이 화면에 보이게 할 수 있다.

대부분의 경우 영어 자막이 포함되어 있고 한글 자막이 있는 경우도 제법 있다.

[1] W Bechtel et al. (2001) Cognitive Science: History. International Encyclopedia of the Social and Behavioral Sciences. 2154-8

[2] 이처럼 외부 대상이나 연산의 요소를 개별적인 변수로 기호화하여 사용하는 컴퓨터의 특징을 “심벌릭(symbolic)”이라고 한다. “편도체는 공포의 중추, 도파민은 행복 호르몬”이라는 식으로 특정 뇌 영역이나 특정 신경전달 물질을 특정 연산 요소에 할당해서 이해하려는 경향은 뇌를 컴퓨터처럼 심벌릭으로 이해하는 습관과 관련돼 있다. 그런데 뇌처럼 병렬적이고, top-down과 bottom-up 양방향으로[6] 신호 전달이 가능한 네트워크에서는 하나의 영역이나 물질의 역할이 저렇게 똑 떨어지게 분리되기 어렵다.[3]

[3] RC O‘Reilly & Y Munakata. Computational explorations in cognitive neuroscience. MIT Press (2000).

  나는 이 책으로 뇌 신경망을 공부했는데 정말 많은 도움이 되었다. http://goo.gl/deKXmZ 에서 무료로 다운받을 수 있고, https://grey.colorado.edu/emergent/index.php/Main_Page 에서 인공 신경망 소프트웨어를, https://grey.colorado.edu/CompCogNeuro/index.php/CCNBook/Main 에서 교재보다 간결하지만 업데이트 된 설명과 연습용 시뮬레이션들을 다운받을 수 있다. 인공지능이 아니라 뇌 신경망과 인지 기능을 소개하기 위한 교재인데 모두 영어로 되어 있고, 결코 만만치는 않다. 그러나 모든 공부가 그렇듯, 남의 설명을 구경하는 것보다는, 직접 이리저리 굴리며 가지고 놀아도 보고, 머리도 싸매보는 게 가장 효과적이다. 직접 시뮬레이션을 돌리고 연습문제를 풀어가며 감을 가지고 싶은 사람들에게 추천한다.

[4] 데미스 하사비스 홈페이지 http://demishassabis.com/publications/

[5] D Schacter et al. (2012) The Future of Memory: Remembering, Imagining, and the Brain. Neuron 76: 677?694

  해마(hippocampus)는 뇌에서 사건 기억에 중요한 역할을 하는 것으로 알려져 있다. 그런데 2007년에 해마성 기억상실증을 앓고 있는 환자들은 과거 기억뿐만 아니라 새로운 경험을 상상하는 것도 어려워 한다는 논문이 발표됐었다. 과거인 기억과 미래인 상상을 연결 짓다니, 정말 참신하다고 생각했었다. 그런데 그 논문 1저자가 이제 보니 하시비스다.

  해마는 대단히 널리 연구되고 있는 신경망인데 개별적인 내용들을 기억하기에 좋은 구조적 특징을 가지고 있다. 반면, 개별적인 내용을 뭉뚱그리고 연합하여 통찰이나 직관을 길러내기에는 두정엽(parietal lobe)의 구조가 더 유리하다.[3] 그런데 묘하게도 직관이 중요하다는 바둑 인공지능을 만들면서 하사비스는 해마와 기억 연구에 집중하고 있다. 아마 하사비스는 낱개의 상황을 정확하게 평가하는 능력이 인공지능의 정확도 측면에서 더 중요하다고 여기고 있는건지도 모르겠다. 링크한 논문은 알파고와는 직접적인 관련이 적지만, 하사비스를 뒤따르는 게 아니라 뛰어넘으려면 하사비스의 생각, 원전을 직접 보는 것도 필요하지 않을까 해서 출처에 포함시켰다.

[6] 전자를 bottom-up processing, 후자를 top-down processing 이라고도 부른다.

[7] 오차의 크기에 따라서 학습한다는 측면에서 볼 때는 오차기반 학습(error-driven learning)이라고도 부르고, ‘이게 정답이야’ 라고 알려준다는 측면에서 볼 때는 감독 학습(supervised learning)이라고 부르며, 오답은 줄이고 정답은 더 자주 내도록 강화한다는 측면에서 볼 때는 강화 학습(reinforcement learning)이라고 부른다.

[8] N Ketz et al. (2013) Theta Coordinated Error-Driven Learning in the Hippocampus. PLOS Computational Biology 9: e1003067

[9] RC O’Reilly et al. (2013) Recurrent processing during object recognition. Frontiers in Psychology 4: Article 124

[10] He K et al. (2015) Deep residual learning for image recognition. Microsoft Research. http://arxiv.org/pdf/1512.03385.pdf

[11] 4차 산업혁명과 인공지능, 딥러닝 https://goo.gl/a8beIM

[12] AlphaGo: using machine learning to master the ancient game of Go (Google official blog 2016.1.27)

  https://googleblog.blogspot.kr/2016/01/alphago-machine-learning-game-go.html

[13] 이렇게 그럴싸한 경우들만 골라내서 계산하는 데 쓰이는 것이 ‘몬테카를로 트리 서치(Monte Carlo tree search)’이다.[16]

[14] Isaacson JS & Scanziani M (2011) How Inhibition Shapes Cortical Activity. Neuron 72: 231 - 243.

[15] 마우스 뇌 신피질 조직, 완벽한 3D 디지털지도 작성 (IT 뉴스 2015.8.5), http://www.itnews.or.kr/?p=15474

[16] Silver et al. (2016) Mastering the game of Go with deep neural networks and tree search. Nature 529: 484-9

송민령 카이스트 바이오 및 뇌공학과 박사과정  

@한겨레 과학웹진 사이언스온  

   [사이언스온의 길목]