“개인연구 평가에 저널인용지수 남용말라”
취 재 수 첩 : 자 료
‘연구 평가에 대한 샌프란시스코 선언’ 전문번역(아래)
지난해 세계 각지의 과학자들이 거대 학술출판사 ‘엘서비어’의 학술지들에는 논문 투고나 협력을 하지 말자는 보이코트 선언을 해서 큰 파장을 일으킨 적이 있습니다. 과학 논문의 출판을 학술지 출판사의 돈벌이에 이용하지 말라며 그런 출판사의 학술지에는 논문 투고나 편집위원회 참여도 하지 않겠다는 서명으로 이어진 연구자들의 보기 드문 선언으로 주목받았습니다. (관련 기사: [1], [2])
성격은 많이 다르지만 과학자들이 또 다시 집단 행동에 나섰습니다. 이번에는 세계 각국의 과학자 155명과 주요 과학 단체 78곳이 연구자들의 연구비지원, 고용, 승진 등에 중요 자료로 활용되는 연구 평가 방식의 불합리 관행을 개선하라는 요구하는 선언문을 발표했습니다. 2012년 12월 저널 편집위원들과 과학자들이 미국 세포생물학회 연례총회에서 모임을 연 이후에 이런 선언문 작업을 진행해왔다고 합니다. 선언서의 서명에는 저명한 개인 과학자들이 다수 참여했으며 또한 서명단체로 미국과학진흥협회(AAAS)를 비롯해 쟁쟁한 학회, 학술단체, 학술저널, 연구지원기관, 편집인단체 등이 참여해 이번 선언이 얼마나 효과를 발휘할지를 두고 눈길을 끌고 있습니다. 현재 온라인 서명이 샌프란시스코 선언 홈페이지에서 한창 진행되면서 서명자 수는 계속 늘고 있습니다.
"과학 연구의 산출물이 연구비지원기관, 학계 기관, 그리고 여타 당사자에 의해 평가받는 현재의 방식을 개선해야 할 절박한 요구가 있다”는 말로 시작하는 샌프란시스코 선언은 주로 저널 인용지수(JIF)가 연구 평가에서 불합리하게 남용되는 관행을 비판하면서 그런 관행을 끊을 것을 강하게 요구하고 있습니다.
1963년 처음 도입된 저널 인용지수라는 지표는 본래 도서관 사서들이 어떤 학술지를 구매할지 결정할 때 참조했던 지수로, 어떤 학술지에 실린 논문들의 평균 피인용 횟수를 보여주는 지표였습니다. 그러던 것이 지금은 저널 인용지수(JIF)가 얼마나 되는 학술지에 논문을 발표했느냐를 연구 평가에서 주요한 지표로 삼는 일이 잦아지면서, 평가에서 정작 연구 내용 자체는 소홀히 다뤄지는, 즉 '주객전도의 상황'이 벌어지게 되었다는 게 이번 선언 서명자들의 문제인식인 것으로 풀이됩니다.
이번 선언이 나온 이후에 연구 현장에 계신 몇 분과 메일로 의견을 주고받았습니다. 겨우 세 분의 의견이고 긴 글이었지만 의미 있는 의견이라고 생각되어 그 중에서 몇몇 대목을 아래에 짧게 인용합니다.
[1] “…구구절절 맞는 얘기라고 생각합니다. IF가 논란인 되는 것은 결국 평가(연구비, 임용, 승진)에 직접 연관이 되기 때문이겠죠. 연구성과 평가 잣대로 IF가 절대 과학적이지 않다는 것에 공감합니다. 문제는 IF에 대한 문제점을 알면서도 뚜렷한 대안을 찾기 어렵다는 것인데…. 여러 대안들이 나오고 있지만 IF를 넘어서는 대안으론 미흡한 것 같습니다. …외국 몇몇 선진국에서 아마도 뭔가 대안을 찾아 점점 변화가 생길 것 같고, 한국도 그 흐름에 따라 변화될 것은 분명한데, 다만 매우 느리게 변화될 것 같습니다.”
[2] “연구성과라는 것이 논문 수, 인용지수(IF), 특허 건수 등으로 정량화할 수 있는 내용으로만 이루어지다보니, 연구자들이 하고 싶은 연구를 하는 것이 아니라, IF 높은 저널에 낼 수 있는 연구를 하고, 면피를 위해 단지 논문 숫자를 늘리는 행위를 하고, 실제로는 활용하기 어려운 특허를 위한 특허를 내는 행위를 하는 등, 굉장히 비생산적인 일들이 반복되고 있다고 생각합니다. …(여러 대안의 지수들이 제시되고 있지만 한계가 있죠)…이런 부분에서 분명 세계적인 추세가 있다고는 하지만, 우리나라는 우리만의 상황을 고려한 새로운 기준을 만들 필요가 있지 않을까 합니다.”
[3] “…학문 그 자체의 근본적인 발전에는 별로 안 중요한, 그러나 IF 높은 저널에는 실릴 만한 연구들을 용케도, 그리고 혈안이 되어 찍어내고 있다는 것이죠. …너무 나쁘게 적은 것만 같군요. 그렇지만 이게 적어도 생물 분야에서는 ‘우리의 현위치에 대한 일반적인 비판’입니다. 반드시 중단해야 할 아주 나쁜 모습입니다. 노벨상 근처에라도 가려면 이번 선언이 국내 과학계의 분위기, 그리고 큰 방향을 틀 수 있는 계기가 되었으면 하는 바람입니다.”
아래는 샌프란시스코 선언을 전문 번역한 것입니다. 부족한 번역이지만 세계 과학계에서 관심을 받고 있는 이 서명운동의 내용을 공유하고자 이곳에 올립니다(번역을 다듬는 데 도움 주신 분께 감사드립니다). 원문과 서명자 명단은 온라인 서명 홈페이지에서 보실 수 있습니다.
» 과학 학술 저널들은 과학자사회에서 이뤄지는 공개된 지식교류의 장이다. 한겨레 자료 그래픽.
:::번역:::
연구 평가에 대한 샌프란시스코 선언
(San Francisco Declaration on Research Assessment)
연구 평가에 과학을 주입하기(putting science into the assessment of research)
과학 연구의 산출물이 연구비지원기관(funding agency), 학계 기관, 그리고 여타 당사자에 의해 평가받는 현재의 방식을 개선해야 할 절박한 요구가 있다. 이 문제를 다루고자 2012년 12월16일 미국 샌프란시스코에서 열린 미국 세포생물학회(ASCB) 연례총회 기간에 학술저널의 편집위원과 발행인 그룹이 만났다. 이 그룹은 ‘연구 평가에 대한 샌프란시스코 선언’이라 불리는 일련의 권고안을 발전시켰다. 우리는 모든 과학 분야에서 관심 있는 집단이 선언에 참여해 지지를 표명해주시기를 바란다.
과학 연구에서 나오는 산출물은 많고 다양하다. 거기에는 새로운 지식을 보고하는 연구논문도 있고, 데이터, 시약, 소프트웨어도 있으며, 지적재산물도 있고 고도로 교육받은 젊은 과학자도 있다. 연구비지원기관, 과학자를 고용하는 기관, 그리고 과학자 자신들은 모두 다 과학 산출물의 질과 영향을 평가하고자 하는 욕구와 필요를 지닌다. 그러므로 과학 산출물은 정확하게 측정되어야 하고 현명하게 평가되어야 한다.
(A) 저널들 내부의 인용 분포가 매우 한쪽으로 치우쳐 있다 (아래 참고문헌 1.3).
(B) 저널 인용지수의 속성은 학문 분야마다 다르다. 인용지수란 1차 연구논문과 총설논문(review)을 다 포함해 복합적이고 매우 다양한 논문 유형들을 한데 모아 이뤄지는 것이다(1, 4).
(C) 저널 인용지수는 편집 정책에 의해 조작될(maniplated, 또는 "gamed") 수 있다 (5).
(D) 저널 인용지수를 계산하는 데 사용된 데이터는 투명하지 않으며 공공 접근이 가능하게 개방되어 있지 않다 (4,6,7).
아래에서 우리는 연구 산출물의 질을 평가하는 방식을 개선하기 위해 여러 가지 권고를 제시한다. 연구논문 이외의 산출물들이 연구 효과(research effectiveness)을 평가하는 데 앞으로 점점 더 중요해질 터이지만, 동료심사를 거친(peer-reviewed) 연구논문은 여전히 연구 평가를 보여주는 중심적 연구 산출물의 지위를 유지할 것이다. 그러므로 우리 권고안은 동료심사 체제를 갖춘 저널에서 출판되는 연구논문과 관련한 실천(practice, 관행)에 주로 초점을 맞춘 것이지만 데이터와 같은 부산물을 중요한 연구 산출물로 인정한다면 이 권고안은 더 확장될 수 있고 확장되어야 한다. 이 권고안은 연구비지원기관, 학계 기관, 저널, 계량 수치(metrics)을 제공하는 기관, 그리고 개인 연구자들을 향해 제시하는 것이다.
다음과 같은 여러 주제들이 이 권고안을 관통하고 있다.
- 연구비 지원, 임명, 승진 심사 때 저널 인용지수와 같은, 저널 기반 계량 수치의 사용을 없앨 필요성
- 연구물이 실린 저널보다 그 자체의 우수함(merit)에 기초해 연구를 평가할 필요성
- 온라인 출판이 제공하는 기회를 활용할 필요성(예컨대, 논문의 단어, 도표, 참고문헌 숫자에 대한 불필요한 제한을 완화하는 것, 그리고 중요도와 영향력의 새로운 지수를 시도하는 것)
우리는 많은 연구비지원기관, 학계 기관, 출판인, 연구자들이 이미 연구 평가에서 개선된 관행을 장려하고 있음을 인식한다. 그런 발걸음들이 연구 평가에 더 정교하고 의미 있게 접근할 수 있는 동력을 키워주기 시작하고 있다. 그런 연구 평가를 관련된 모든 당사자 그룹들이 이제는 만들 수 있고 채택할 수 있다.
일반적 권고
1. 개인 과학자의 논문 투고를 평가할 때, 또는 고용, 승진, 연구비지원 결정을 할 때에, 개별 연구논문의 질을 측정하는 대리물로서 저널 인용지수 같은 저널 기반 계량 수치를 사용하지 말라.
연구비 지원기관에
2. 연구보조금 지원자(grant applicant)의 과학 생산성(scientific productivity)을 평가할 때 사용되는 기준을 명시하라. 논문의 과학적인 내용이 출판물의 계량 수치가 얼마나 되는지 또는 그것이 실린 저널이 어떤 것인지 하는 것보다 훨씬 더 중요하다는 점을, 특히 초기단계의 연구자들한테, 분명하게 강조하라.
3. 연구를 평가하기 위해서는, 연구 출판물 이외에도 모든 연구 산출물(데이터세트, 소프트웨어를 포함해)의 가치와 영향력을 참작하라. 또한 정책과 관행(practice)에 끼치는 영향력 같은 연구 영향(impact)의 질적인 지수를 포함하는 폭넓은 영향 측정 수치를 참작하라.
학계 기관에
4. 연구보조금 지원자(grant applicant)의 과학 생산성(scientific productivity)을 평가할 때 사용되는 기준을 명시하라. 논문의 과학적인 내용이 출판물의 계량 수치가 얼마나 되는지 또는 그것이 실린 저널이 어떤 것인지 하는 것보다 훨씬 더 중요하다는 점을, 특히 초기단계의 연구자들한테, 분명하게 강조하라.
5. 연구를 평가하기 위해서는, 연구 출판물 이외에도 모든 연구 산출물(데이터세트, 소프트웨어를 포함해)의 가치와 영향력을 참작하라. 또한 정책과 관행(practice)에 끼치는 영향력 같은 연구 영향(impact)의 질적인 지수를 포함하는 폭넓은 영향 측정 수치를 참작하라.
출판인에게
6. 선전 도구(promotional tool)로 이용해 저널 인용지수를 강조하는 일을 대폭 줄이라. 이상적으로 말하면, 이를 위해서 인용지수를 장려하며 강조하기를 그만두고 저널의 역량(performance)를 더 풍부하게 보여주는 저널 기반의 다양한 계량(예컨대, 5개년 인용지수, EigenFactor(8), SCImago(9), h-index, 편집·출판 횟수 등)의 측면에서 계량 수치들을 제공하라.
7. 논문이 실린 저널의 출판 계량 수치보다는 해당 논문의 과학적 내용에 기반을 둔 평가로 나아갈 수 있도록 논문 차원의 계량 수치를 이용할 수 있게 하라.
8. 책임을 지는 저자권 관행을 장려하며, 개별 저자의 특정한 기여에 관한 정보의 제공을 장려하라.
9. 저널이 공개접근이건 구독료 기반이건 상관없이, 연구논문의 참고문헌 목록에 대한 모든 재사용 규제(reuse restriction)를 없애고 ‘창조적 공유 공공영역 기부(Creative Commons Public Domain Dedication)’의 원칙에서 그것을 이용할 수 있게 하라(10)
10. 연구 논문의 참고문헌 숫자에 대한 제한을 없애거나 줄이라. 그리고 적절한 경우에는 처음 발견을 보고한 그룹에 크레딧을 줄 수 있도록 총설논문(review)에서 1차 문헌을 인용하도록 의무화하라
계량 수치를 제공하는 기관에
11. 모든 계량 수치를 산출하는 데 사용하는 데이터와 방법을 공개적이고 투명하게 밝혀라.
12. 제한없는 재사용을 허용하는 인가권을 갖춘 데이터를 제공하라. 그리고 가능하다면 전산망을 통한 데이터의 접근권을 제공하라.
13. 계량 수치의 부적절한 조작은 용인되지 않을 것임을 분명히하라. 부적절한 조작을 구성하는 것이 무엇인지, 그리고 이에 맞서 싸우기 위해서 어떤 조처를 취할 것인지를 분명히 밝히라.
14. 계량 수치가 사용되고 수집되고 비교될 때에는, 논문의 유형(예컨대 총설논문 대 연구논문)의 차이, 그리고 서로 다른 주제 영역의 차이를 설명하라.
연구자들에게
15. 연구비 지원, 고용, 종신재직(tenure), 승진에 관해 결정하는 위원회에 참여할 때에는, 출판 계량 수치보다는 과학적인 내용에 바탕을 두어 평가하라.
16. 적절하다면 어디에서건, 크레딧이 온당하게 부여될 수 있도록 총설논문 논문보다는 관측을 처음 보고한 1차 문헌을 인용하라.
17. 개인적인 발언이나 지지하는 발언을 할 때 개별 출판 논문과 기타 연구 산출물의 영향력을 보여주는 근거로 논문 계량 수치와 지표를 사용하라.18. 부적절하게 저널 인용지수에 의존하는 연구 평가 관행에 도전하라. 그리고 특정한 연구 산출물의 가치와 영향에 초점을 맞추는 최선의 실천을 장려하고 교육하라.
참고문헌
1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union. http://www.mathunion.org/publications/report/citationstatistics0
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/
개인과 단체 서명자 명단은 선언문 홈페이지에
관련글
