“눈앞의 장면, 시선이 향한 곳은…” -시각주의력 실험

시각주의력, 장면 속 어느 지점으로 이끌릴까
눈동자 추적 실험 “‘의미’지점에 주의력 쏠려”
“밝고 대비 효과 지점 집중” 기존학설과 달라


visionmap.jpg » 미국 데이비스 캘리포니아대학 마음과뇌연구소 소속 연구진은 실험참가자들에게 눈동자 운동 추적 장치를 달고서, 이들이 수백 장의 실물 장면 사진(맨왼쪽)을 볼 때에 시선의 움직임을 추적하여 시선 분포 지도(왼쪽에서 두번째)를 작성하고 의미 분포 지도(왼쪽에서 세번째)와 밝기와 대비 효과의 분포 지도(맨 오른쪽)와 통계분석 기법으로 비교해보았다. 그랬더니 시선이 반드시 돌출된 장면 지점으로 쏠리지는 않으며 오히려 의미 지점들로 이끌리는 것으로 나타났다고 연구진은 보고했다. 사진과 설명 출처/ 미국 데이비스 캘리포니아대학 제공


야에 들어와 처음 마주한 장면. 우리의 시선은 어디로 향할까? 시각의 주의력에 관한 최근에 발표된 연구결과들은 시선의 주의력이 종종 우리가 생각하는 것과는 다른 방향으로 쏠리기도 함을 보여준다. 시각의 주의력 연구는 시각물에 담긴 상황이나 의미를 파악하려는 인공지능의 시각 시스템 개발과도 맞물려 최근 잇따르는 것으로 보인다.


먼저, 어떤 장면을 처음 볼 때 우리 시선의 주의력은 대체로 밝기와 대비 효과가 도드라지는 지점으로 이끌린다는 기존의 학설과 달리, 시선이 일종의 ‘의미’를 담고 있는 지점으로 이끌린다는 새로운 연구결과가 나왔다. 연구진은 장면에서 밝기와 대비가 돌출된 부분보다 의미를 지닌 부분이 시각 집중을 유도하는 데 더 중요한 요소이며 이런 연구결과는 기존의 시각 주의력 설명 모형을 뒤집는 것이라고 주장했다.


미국 데이비스 캘리포니아대학의 심리학 연구진은 눈동자 운동 추적 장치를 이용해 실험참가자들이 어떤 장면을 바라볼 때에 시선이 장면 안의 어느 지점으로 향하는지, 즉 시선 주의력을 추적하고서, 이런 주의력 지점의 분포가 밝기나 대비 효과가 큰 지점보다 ‘의미’ 지점의 분포에 더욱 가깝다는 결과를 얻어 이런 결론을 제시했다. 이 연구는 <네이처 인간행동(Nature Human Behavior)>에 실렸다.


연구진은 어떤 장면 안에서 ‘의미’ 지점의 분포를 어떻게 파악했을까? 연구진은 다중이 내린 의미 평가에 의존했다. 먼저 어떤 장면을 작은 조각으로 나눈 다음에 각각을 일종의 온라인 다중참여 인력시장인 ‘아마존 메커니컬 터크(Amazon Mechanical Turk)’에 올려 온라인 사용자들에게 제시된 장면 조각들마다 ‘의미’ 점수를 매기게 했다. 이를 바탕으로 한 장면에서 크고 작은 ‘의미’ 조각들의 분포를 보여주는 의미 지도를 작성할 수 있었다고 한다. 맨위의 그림에서 왼쪽에서 세 번째 줄에 있는 것들이이 이렇게 해서 작성한 의미 분포 지도들이다.


연구진은 눈동자 운동 추적 장치를 통해 얻은 실험참가자들의 시선 자료를 이런 ‘의미’ 분포 지도, 그리고 그 장면에서 밝기나 대비 효과의 분포를 나타내는 시각적 돌출(visual salience) 지도와 비교 분석했다. 이렇게 분석해보니, 실험참가자들이 어떤 장면을 볼 때 시선은 대체로 장면의 돌출 지점과 의미 지점에 모두 다 이끌리는 것으로 나타났으며, 특히 돌출 지점과 의미 지점만을 대비했을 때에는 의미 지점의 주의력 유도 효과가 더 큰 것으로 나타났다고 연구진은 보고했다. 연구진은 “실물 장면들에서 의미 요소가 주의력을 유도하는 원동력(driving force)이라는 결론을 얻었다”고 밝혔다.(참조자료: 데이비스 캘리포니아대학 보도자료)


  ▒ 논문 초록

실세계의 장면들은 수많은 정보, 어지러울 정도로 혼란스러운 정보들로 구성된다. 이런 복잡성을 다스리기 위해, 시각 주의력(visual attention)은 실시간으로 장면의 중요 지점들로 유도된다. 장면들 안에 있는 어떤 요소들이 시각주의력을 유도할까? 유력한 이론에 따르면, 의미론적으로 해석되지 않은 이미지 특징에 기반을 두는 시각적인 도드라짐(visual salience)이 주의력 유도에 중대한 인과적 역할을 한다고 알려져 있다. 이때에 앎(knowledge)과 의미(meaning)는 부차적인 또는 조정적인 역할을 하는 것으로 파악된다. 이런 이론과 달리, 우리 연구진은 의미의 요소가 감각을 통해 인간의 주의력을 유도하는 데 지배적인 역할을 한다고 제안한다. 이런 가설을 검증하기 위하여, 우리는 장면 지점들에 담긴 의미론적 풍부함의 정도를 나타내는 ‘의미 지도’를 개발해 이미지 도드라짐 지도(salience)와 직접 비교할 수 있었다. 그러고서 우리는 의미와 도드라짐의 공간 분포들을 통해 관찰자들의 장면 안의 시각주의력 지점을 얼마나 예측할 수 있는지를 대조했다. 그 결과는 의미와 도드라짐이 둘 다 주의력의 분포를 예측해줄 수 있음을 보여주었으나, 의미와 도드라짐 간의 관계를 통제하여 대비했을 때에 의미만이 주의력의 독특한 변화를 설명할 수 있었다. 이런 결과의 패턴은 장면을 볼 때 초기에 분명하게 나타났다. 우리는 ‘의미’가 실세계 장면들에서 주의력을 유도하는 원동력(driving force)이라는 결론을 내렸다.


“물체 ‘크기’도 물체 찾을 때의 시각주의력에 영향”


른 연구에서는, 우리의 시선이 제시된 장면에서 특정 물체를 찾으려 할 때에 물체의 ‘크기’도 중요하게 고려하는 것으로 나타났다. 미국 샌타바버라 캘리포니아대학의 연구진은 <커런트 바이올로지(Current Biology)>에 낸 논문에서 자신들이 고안한 시각 주의력 실험을 바탕으로 이런 결론을 제시했다.


실험에서는 실험참가자 60명에게 찾으려는 칫솔, 컴퓨터 마우스 같은 물체가 우리 주변의 흔한 물체들과 함께 놓여 있는 일상적인 장면 사진 40여 장을 아주 잠깐 보여주면서 칫솔, 마우스 같은 특정 물체를 빠르게 찾도록 했다. 물론 어떤 사진엔 찾으라고 한 특정 물체를 일부러 넣지 않기도 했다. 연구진은 실험참가자들의 시선이 어떻게 움직이는지 살피기 위해 이들에게 눈동자 운동 추적 장치를 달았다.


그런데 이 실험에서 실험참가자들은 사진 속에서 찾아야 하는 물체의 크기가 다른 물체들의 크기 척도에 비해 턱없이 클 때에는 시선이 사실은 그 물체로 향했더라도 쉽게 그 물체를 식별하지 못하고 지나쳐 버리는 것으로 나타났다고 연구진은 보고했다.


연구진이 캘리포니아대학 보도자료에서 한 설명에 의하면, 예컨대 실험에 쓰인 아래 사진에서 ‘칫솔’을 빠르게 찾아야 하는 실험참가자들 중 많은 수가 칫솔이 당연히 놓여 있을 만한 세면대 앞쪽에서 칫솔을 찾아냈거나, 또는 뒤이어 좌변기 옆에 세워진 이상할 정도로 큰 칫솔을 함께 찾아낼 수 있었다고 한다.[컴퓨터 화면 속의 작은 사진에선 큰 칫솔도 쉽게 눈에 띄는 듯한데, 이 연구에서 실험참가자들한테 장면 사진들을 제시한 실험환경의 차이 때문에 이런 결과가 나온 것은 아닐까 추측해본다]


toothbrush.jpg » 칫솔을 찾아라. 이런 흔한 장면 사진을 아주 잠깐 보여주면서 특정 물체를 찾으라고 했을 때 실험 참가자들의 다수는 칫솔이 있을 만한 세면대 앞에 있는 칫솔을 먼저 찾아내고 잠시 뒤에야 다른 물체들의 크기와 조화를 이루지 못하는 큰 칫솔도 찾아낸 것으로 나타났다. 연구진은 물체의 ‘크기’도 인간의 시각 주의력에서 중요한 요소라고 제시했다. 출처/ 샌타바버라 캘리포니아대학 제공


연구진은 “무언가가 잘못된 크기로 보일 때 우리 뇌는 자동으로 그것을 외면하기 때문에, 우리는 크기가 잘못된 물체를 더 자주 놓친다”고 말했다. “어떤 장면을 처음 볼 때, 뇌는 수백 밀리초 안에 그 과정을 빠르게 처리할 테고, 그런 다음에 그렇게 얻은 정보를 이용해 물체가 흔히 놓일 만한 곳 주변에서 시선 탐색을 하는 것으로 보인다. 그러면서 또한 찾으려는 물체와 실제로 일치하는 ‘크기’의 물체들에 시선을 집중한다.”(샌타바버라 캘리포니아대학 보도자료)


그러나 컴퓨터의 시각 시스템은 사람의 시각 주의력과는 달랐다. 연구진은 인공신경망에서 같은 실험을 시행했는데 인공신경망은 찾으려는 물체의 크기가 다른 물체들과 엉뚱할 정도로 크더라도 찾으려는 물체로 식별하는 것으로 나타났다. 이런 결과는 인공신경망의 뛰어난 시각 시스템을 보여주는 것일까? 연구진은 오히려 이런 인간 시각 주의력의 결핍이 물체를 제대로 인식하는 인간 시각 능력의 장점이라고 해석했다.


“최첨단의 인공신경망은 인간과 달리 잘못된 척도 크기의 표적물을 찾아내지 못하는 문제를 드러내지는 않았다. 이는 인공신경망이 표적물의 모양을 갖추고서 주의력을 흐트리는 물체에 의해 속을 수 있음을 보여준다. 그러므로, 표적물 크기가 장면과 조화되지 않을 때 그것을 찾지 못하고 놓치는 것은 인간 능력의 결핍이 아니다. 오히려 주의력을 흐트릴 수도 있는 요소들을 뇌가 빠르게 무시하기 위하여 실행하는 유용한 전략의 부산물이다.”(논문 초록에서)


이런 실험결과는 디지털 영상에서 ‘크기’ 척도를 고려하면서 찾으려는 물체를 적절하게 찾아내며, 디지털 영상의 상황을 설명하는 적절한 설명문을 스스로 작성할 수 있는 인공신경망의 시각 시스템을 개발하는 데에 도움을 줄 수 있을 것이라고 연구진은 전했다.

  ▒ 논문 개요.

기계 시각(machine vision)이 크게 발전했더라도 여전히 ​​복잡한 장면을 시각적으로 탐색하는 동물의 능력은 탁월하다. 벌에서 새와 인간에 이르기까지 동물들은 시각적 환경들의 통계적 관계(statistical relations)에 관해 학습하여 장면 안에서 표적을 찾아내는 데 이용한다. 우리는 인간이 어떤 장면에 관해 빠르게 획득한 정보를 표적물과 비슷한 크기의 물체들을 탐색하는 데 활용하는 새로운 방식에 관해 연구했다. 우리 연구는 표적물이 더 크고 눈에 더 잘 띄더라도, 게다가 그 표적물을 응시할 때조차도 사람들이 표적물 크기가 장면 안에 있는 다른 부분들과 조화되지 않을 때 종종 표적물을 찾아내지 못함을 보여준다. 이와 대조적으로, 최첨단의 인공신경망은 인간과 달리 잘못된 척도 크기의 표적물을 찾아내지 못하는 문제를 드러내지는 않았다. 이는 인공신경망이 표적물의 모양을 갖추고서 주의력을 흐트리는 물체에 의해 속을 수 있음을 보여준다. 그러므로, 표적물 크기가 장면과 조화되지 않을 때 그것을 찾지 못하고 놓치는 것은 인간 능력의 결핍이 아니다. 오히려 주의력을 흐트릴 수도 있는 요소들을 뇌가 빠르게 무시하기 위하여 실행하는 유용한 전략의 부산물이다.


오철우 기자 cheolwoo@hani.co.kr     

@한겨레 과학웹진 사이언스온     


  • 구글
  • 카카오
  • 싸이월드 공감
  • 인쇄
  • 메일
오철우 한겨레신문사 과학담당 기자, 사이언스온 운영
1990년 한겨레신문사에 입사해 편집부, 사회부, 문화부, 생활과학부 등을 거쳤으며 주로 과학담당 기자로 일했다. <과학의 수사학>, <과학의 언어>, <온도계의 철학> 등을 번역했으며, <갈릴레오의 두 우주체제에 관한 대화>를 썼다.
이메일 : cheolwoo@hani.co.kr      

최신글




최근기사 목록

  • [알림] 사이언스온이 미래&과학으로 바뀝니다[알림] 사이언스온이 미래&과학으로 바뀝니다

    뉴스사이언스온 | 2017. 12. 11

    미래/과학/기술/환경 뉴스와 비평, 연재물 서비스사이언스온 옛 글들은 지금처럼 접근 가능합니다 독자님들께안녕하세요. 그동안 작은 도전이었던 한겨레 과학웹진 사이언스온의 필자들을 격려해주시고 또 웹진을 사랑해주신 모든 독자분들께 감사의 말씀을 ...

  • “언어사용 패턴은, 몸의 스트레스 보여주는 지표”“언어사용 패턴은, 몸의 스트레스 보여주는 지표”

    뉴스오철우 | 2017. 11. 07

    특정 언어사용패턴과 스트레스 관련 유전자발현 사이에 ‘상관성’“무의식적 언어패턴이 의식적 자가보고보다 측정정확도 더 높아” 일상언어 사용의 패턴이 말하는 이 자신도 잘 모르는 몸의 스트레스 반응을 알려주는 지표로 사용될 수 있다는 연구결...

  • 정교해진 유전자가위…‘염기’ 하나만 바꾼다정교해진 유전자가위…‘염기’ 하나만 바꾼다

    뉴스오철우 | 2017. 11. 07

    ※ 이 글은 한겨레 11월6치 '미래&과학' 섹션 지면에 실렸습니다. 지면 편집 과정에서 분량을 줄이기 이전 원고를 사이언스온에 올립니다. 편집 과정에서 달라진 부분이 있습니다.정교해진 유전자가위염기 하나만 바꿔치기[미래&과학] 주목받는...

  • ‘노화는 불가피하다 -논리적으로, 수학적으로’‘노화는 불가피하다 -논리적으로, 수학적으로’

    뉴스오철우 | 2017. 11. 03

    수학적 모형 분석 논문 ‘눈길’세포간 경쟁과 선택, 노화와 암의 ‘딜레마’ 같은 상호관계 다뤄‘노화는 불가피하다. 논리적으로도, 이론적으로도, 수학적으로도 노화를 멈추는 것은 불가능하다.’노화를 일정 정도 늦출 순 있어도 멈출 순 없다는 ...

  • 염기 하나만 바꾸는 단일염기 수정기법의 '확장'염기 하나만 바꾸는 단일염기 수정기법의 '확장'

    뉴스오철우 | 2017. 10. 26

    시토신-구아닌 쌍을 티민-아데닌 쌍으로 ‘점 수정’ 이어아데닌-티민 쌍을 구아닌-시토닌 쌍으로 수정기법 개발하버드대학 리우 교수와 MIT 펑 장 교수 각각 성과 발표 크리스퍼 유전자 가위 기법의 기본 원리를 이용하되 디엔에이(DNA) 두 가닥을 ...