"학술지 간판만 보고 연구논문 평가 말아주세요"

  저널 영향력 지수에 가려진 논문의 영향력  

BRIC, 국내 생물분야 10년간 상위피인용 논문 323편 분석

인용지수(IF) 평균보다 낮은 학술지에 실린 비율 훨씬 높아  

“학술저널 IF 중심 연구성과 평가제도 맹점 보여주는 자료”


scientificjournal.jpg » 한겨레 자료그림


주 인용되는 영향력 있는 논문들이 이른바 ‘인용지수(영향력지수, IF)’가 높은 유력 학술저널과 더불어 인용지수가 상대적으로 낮은 학술저널에도 많이 실리는 것으로 나타났다. 이런 결과는 생물학연구정보센터(브릭, BRIC)가 2003년부터 2012년까지 10년 동안 국내 연구자가 교신저자로 발표한 의생명과학 분야 연구논문 중에서 다른 후속 논문에 인용된 횟수가 많은 '상위 피인용 논문' 323편을 분석한 데에서 나왔다. 인용지수 높은 학술지에 실린 논문이 우수하고, 인용지수 낮은 학술지에 실린 논문은 덜 우수하다고 인식하는 ‘인용지수 선입견’의 불합리를 보여주는 결과다.


브릭의 조사분석 결과를 보면, 생명과학 분야에서 논문 출판 뒤 3년 이내에 60차례 이상, 또는 기간과 상관없이 120차례 이상 인용된 국내 교신저자의 연구논문은 지난 10년 동안 발표된 전체 연구논문 10만4174편 가운데 323편인 것으로 집계됐다. 이 323편 논문이 실렸던 학술저널의 영향력지수(인용지수, Impact Factor, IF, 2012년 기준)를 조사해 평균을 구했더니 12.236점인 것으로 나타났다.


이어 브릭 조사팀은 323편 논문이 실린 학술저널의 인용지수 분포를 보았다. 그랬더니 흥미로운 결과가 나왔다. 상위 피인용 논문의 25%가 인용지수 0~5점으로 평균보다 상당히 낮은 학술저널에 실렸던 것으로 나타났으며, 38%는 인용지수 5~10점의 학술저널에 실렸던 것으로 조사됐다. 즉, 자주 인용될 정도로 뛰어난 논문들의 63%가 평균보다도 낮은 10점 이하의 학술저널에 발표된 논문들이었다는 것이다.

00IF.jpg » 출처 / 브릭 리포트 236호 

00IF2.jpg » 출처 / 브릭 리포트 236호

런 결과가 더욱 눈에 띄는 것은, 지난 5월 세계 여러 과학자들과 과학단체들이 발표한 이른바 ‘연구평가 제도에 관한 샌프란시스코 선언’ 때문이다. 이 선언에서 연구자들은 개인 연구자의 연구역량을 평가하는 현행 제도의 문제에 불합리가 심각하다고 지적하면서, 특히 학술저널 인용지수 중심으로 개인 연구를 평가하는 제도가 개선돼야 한다고 주장했다. 저널 인용지수는 애초에는 도서관이 수많은 학술저널 중에서 우선 구독할 만한 학술지를 판단하는 데 도움을 주는 지표 정보로 만들어져 사용됐으나, 점차 개인 연구자의 연구성과 평가 지표로도 활용되면서 그 성격이 바뀌어 왔다. 현재 9000명 넘게 지구촌 연구자들이 참여한 온라인 서명작업은 지금도 계속되고 있으며(선언 공식 누리집), 국내 연구자들도 다수 서명에 참여했다.


이번 조사를 진행한 브릭의 이강수 팀장은 조사결과의 의미를 묻는 물음에 대해 이메일에서 이렇게 답했다.


“국내에서 연구자의 정량적 연구평가는 논문의 편수와 논문을 투고한 저널의 IF에 많이 의존하고 있는 실정입니다. 이번 조사는 이런 방식의 연구평가 기준만으로는 부족한 부분이 있고, 연구평가 기준이 보완될 필요가 있음을 보여주는 자료라고 할 수 있습니다. 그렇다고 논문의 피인용 횟수가 연구평가에 가장 정확한 평가기준이라고 할 수는 없으며, 여전히 연구평가에 대한 논란은 전세계 과학계에서도 지속적으로 일고 있습니다. 연구평가에 대한 절대적인 평가기준을 마련하는 것이 매우 어렵기는 하지만, 현재의 평가기준들을 수정하고 보완해 나가는 노력이 꾸준히 진행되어야 하고 정답에 가까워지도록 다가가려는 노력이 필요하다고 봅니다.“


물론 이번 조사분석의 결과가 인용지수 낮은 학술저널에 실린 논문들이 일반적으로 우수하다는 결론을 일반화할 수 있음을 보여주는 것은 아니다. 인용지수 높은 학술저널에 실린 논문은 소수이고, 그렇지 않은 학술저널에 실린 논문들은 절대 다수일 것이기에 상위 피인용 논문들이 인용지수 낮은 학술저널에 더 많이 분포하는 것으로도 볼 수 있기 때문이다. 그렇지만, ‘높은 인용지수 저널에 실린 논문 = 주목할 만한 논문’, 그리고 ‘낮은 인용지수 저널에 실린 논문 = 영향력 낮은 논문’으로 인식하는 도식적인 선입견의 불합리를 이번 조사결과는 보여준다. 논문을 실은 학술저널의 인용지수라는 ‘간판’만 보고서 개별 논문을 판단해서는 그 논문을 제대로 평가하기 힘들다는 것이다.


한편, 이번 조사에서 지난 10년 간의 상위 피인용 논문을 연구자 소속 기관별로 분류하면, 대학이 273.4편, 공기관(출연연)이 29.5편, 기업과 병원 등이 6.5편으로 집계됐다. 대학별로 보면 생물과학 분야에서는 서울대(29.5편), 카이스트(15.5편), 포스텍(7편) 순이었으며, 의과학 분야에서는 서울대(34편), 울산대(15.5편), 연세대(6.5편) 순으로 나타났다. 또 학제간 연구분야에서는 서울대(18.5편), 카이스트(8.5편), 연세대(7편) 순으로 나타났다고 브릭은 밝혔다. 공기관(출연연)에서는 과학기술연구원(KIST)이 12편으로 가장 많았으며, 국립암센터(5편), 생명공학연구원(5편)이 뒤를 이었다.


지난 10년 동안 의생명과학 분야에서 출판된 국내 연구자가 교신저자로 발표한 연구논문은 모두 10만4174건으로 조사됐는데, 이 논문들이 실린 학술저널의 전체 평균 인용지수는 2.77점인 것으로 분석됐다.


브릭은 이번 조사와 분석이 논문 데이터베이스인 ‘웹 오브 사이언스(Web of Science)’, 스코푸스(Scopus), 구글 스칼라(Google Scholar)의 피인용 횟수 자료를 참조해(2013년 5월 기준) 이뤄졌으며, 교신저자의 소속 기관 주소가 대한민국으로 표기된 연구논문(총설·해설 논문 제외)을 대상으로 이뤄졌다고 밝혔다. 이번 조사 분석의 더 자세한 내용은 브릭의 누리집에서 직접 볼 수 있다.


00dot.jpg

오철우 기자 cheolwoo@hani.co.kr

@한겨레 과학웹진 사이언스온

  • 구글
  • 카카오
  • 싸이월드 공감
  • 인쇄
  • 메일
오철우 한겨레신문사 과학담당 기자, 사이언스온 운영
1990년 한겨레신문사에 입사해 편집부, 사회부, 문화부, 생활과학부 등을 거쳤으며 주로 과학담당 기자로 일했다. <과학의 수사학>, <과학의 언어>, <온도계의 철학> 등을 번역했으며, <갈릴레오의 두 우주체제에 관한 대화>를 썼다.
이메일 : cheolwoo@hani.co.kr      

최신글




최근기사 목록

  • [알림] 사이언스온이 미래&과학으로 바뀝니다[알림] 사이언스온이 미래&과학으로 바뀝니다

    뉴스사이언스온 | 2017. 12. 11

    미래/과학/기술/환경 뉴스와 비평, 연재물 서비스사이언스온 옛 글들은 지금처럼 접근 가능합니다 독자님들께안녕하세요. 그동안 작은 도전이었던 한겨레 과학웹진 사이언스온의 필자들을 격려해주시고 또 웹진을 사랑해주신 모든 독자분들께 감사의 말씀을 ...

  • “언어사용 패턴은, 몸의 스트레스 보여주는 지표”“언어사용 패턴은, 몸의 스트레스 보여주는 지표”

    뉴스오철우 | 2017. 11. 07

    특정 언어사용패턴과 스트레스 관련 유전자발현 사이에 ‘상관성’“무의식적 언어패턴이 의식적 자가보고보다 측정정확도 더 높아” 일상언어 사용의 패턴이 말하는 이 자신도 잘 모르는 몸의 스트레스 반응을 알려주는 지표로 사용될 수 있다는 연구결...

  • 정교해진 유전자가위…‘염기’ 하나만 바꾼다정교해진 유전자가위…‘염기’ 하나만 바꾼다

    뉴스오철우 | 2017. 11. 07

    ※ 이 글은 한겨레 11월6치 '미래&과학' 섹션 지면에 실렸습니다. 지면 편집 과정에서 분량을 줄이기 이전 원고를 사이언스온에 올립니다. 편집 과정에서 달라진 부분이 있습니다.정교해진 유전자가위염기 하나만 바꿔치기[미래&과학] 주목받는...

  • ‘노화는 불가피하다 -논리적으로, 수학적으로’‘노화는 불가피하다 -논리적으로, 수학적으로’

    뉴스오철우 | 2017. 11. 03

    수학적 모형 분석 논문 ‘눈길’세포간 경쟁과 선택, 노화와 암의 ‘딜레마’ 같은 상호관계 다뤄‘노화는 불가피하다. 논리적으로도, 이론적으로도, 수학적으로도 노화를 멈추는 것은 불가능하다.’노화를 일정 정도 늦출 순 있어도 멈출 순 없다는 ...

  • 염기 하나만 바꾸는 단일염기 수정기법의 '확장'염기 하나만 바꾸는 단일염기 수정기법의 '확장'

    뉴스오철우 | 2017. 10. 26

    시토신-구아닌 쌍을 티민-아데닌 쌍으로 ‘점 수정’ 이어아데닌-티민 쌍을 구아닌-시토닌 쌍으로 수정기법 개발하버드대학 리우 교수와 MIT 펑 장 교수 각각 성과 발표 크리스퍼 유전자 가위 기법의 기본 원리를 이용하되 디엔에이(DNA) 두 가닥을 ...

자유게시판 너른마당

인기글

최근댓글

트위터 팔로우

sub2 untitled