| 지표 (metrics) | ||
| 저자 수준 | 저널 수준 | 문헌 수준 |
|
h 인덱스 g 인덱스 |
임팩트 팩터 SJR SNIP |
피인용수 |
1. 개요
Impact Factor, IF어떤 저널이 인용된 횟수를 분석하여 얼마나 중요한 저널인지를 알려주는 숫자. 1955년 유진 가필드라는 언어학자[1]가 개발하여 1960년 처음 도입되었다. 톰슨 로이터에서 발표하며, 저널인용보고서( JCR)에서 계속해서 갱신하는 중이다. 특히 동아시아 연구자들 사이에서는 유독 연구자 성과 평가 기준으로 많이 쓰이고 있다고. 구글 스콜라나 각종 DB들에서 다양하게 보여주고 있고, 웬만큼 유명한 DB에서는 IF만 전문적으로 분석해서 보고서를 뽑아주기도 한다.
대한민국의 각 대학에서는 IF(절대평가)보다 IF의 분류별 순위(상대평가)가 훨씬 중요하다. 자세한 것은 맨 하단에 있다.
2. 상세
지난 n년간 그 저널에 실린 논문이 다른 논문에 인용된 횟수를, n년간 그 저널에 실린 논문의 수로 나눠서 계산한다. 즉 n년간 그 저널에 실린 논문들의 평균 피인용 횟수다. n은 보통은 2를 쓰고, 분야에 따라 5 등 다른 숫자를 쓴다. 아래에 설명할 IPP에선 3년치로 계산한다. SJR이나 SNIP 같은 경우는 평균값을 1로 정해놓고 수치를 환산하는데,[2] 대중적으로 유명한 저널들은 20이 넘어가기도 한다.이른바 인용을 중심으로 해서 문헌을 모아주는 작업 자체는 도서관 계, 특히나 미국의 법학 계열의 도서관들에서 상당히 일상적으로 이루어지고 있었는데,[3] 유진 가필드는 이러한 인용을 중심으로 문헌을 모으는 도서관 사서들의 작업과 함께 버나드 부쉬의 "As We May Think"라는 수필에 실린 지식을 종합하는 방법에 대한 언급에 영감을 얻어서 IF를 개발하게 되었다.
이 지수를 개발하면서 유진 가필드는 이것이 도서관 사서들에게 도움이 되리라고도 생각했지만[4] 동시에 이것이 돈이 될 것이라고 예측했고 결국 최초로 이를 이용한 DB서비스업체인 Institute for Scientific Information을 설립한다. 이 회사는 이후 1990년대에 톰슨 로이터에 인수되었고 여기서 하던 서비스는 톰슨 로이터 ISI에서 이어받고 있다.
초기에는 도서관 계의 저널 구입 기준의 마련과 학계에서의 영향력을 알아보고자 하는 좋은 목적에서 시작되었지만, 최근에는 높은 IF를 가진 저널에 논문을 싣는 것이 점점 더 중요해지면서 주객전도가 되고 있다는 지적도 있다. # 연구자들의 실적 평가와 경쟁이 갈수록 치열해지면서, 심지어 영국에서는 실적에서 밀려서 해고된 교수가 목숨을 끊는 일까지 발생했다고. ##
IF만의 특징이 있다면, 리뷰 저널이라고 해서 여러 연구 성과들을 모아서 정리한 논문들이 실리는 저널은 수는 적지만 인용이 굉장히 많이 되기 때문에 상대적으로 IF가 높은 편이다. 학술 데이터베이스 중에는 특정 저널을 검색한 후 그 저널의 장기간의 IF 추세를 꺾은선/막대 그래프로 보여주기도 하는데, 이런 것을 잘 관찰하다 보면 학계의 동향(트렌드)이나 연구자들의 핫이슈가 무엇인지 감을 잡기가 쉽다. 아무래도 갈수록 IF가 떨어지고 있는 저널이라면 거기서 뭔가 입신양명을 하기는 힘들 것이다 [5]. 물론 한 분야 내에서 널리 인정받는 건실한 저널들은 장기간에 걸쳐 안정적이고 높은 IF를 보이고 있다.
저널의 가치를 측정하는 기준으로 임팩트 팩터와 아이겐 팩터를 널리 이용하고 있다. 임팩트 팩터와 아이겐 팩터의 차이점
3. 한계점
IF에는 한계도 명백하다.첫째로, 서로 다른 분야끼리 IF를 기준으로 비교하는 건 무의미하다. 논문이 많이 나오는 분야일수록 서로 인용할 수 있는 경우의 수가 늘어나서 발생하는 문제이다. 논문을 내기가 극히 어려운 분야는 인용 수도 그만큼 줄어들 수밖에 없기 때문에 난이도가 높다는 이유 하나만으로 IF에서 손해를 볼 수도 있다. 또한, 응용분야와 순수분야에서도 차이가 명확하다. 순수분야에서 연구된 것이 응용분야에서는 인용이 많이 되지만 그 역은 그렇지 않기 때문이다. 그러므로 최첨단 분야일수록 오히려 IF가 낮아지게 된다.
예를 들어 IF가 높은 논문들은 모두 의학계통이 차지하고 있다. 대표적으로 의료 쪽에 일하고 있지 않으면 들어보지도 못한 NEJM 이라든지 Lancet이라든지... 이는 의학이라는 학문이 모두가 관심이 높은 학문이기 때문에 투자되는 돈도 많고 그만큼 연구를 많이 하고 있기 때문이다. CA: A Cancer Journal for Clinicians (CA Cancer J. Clin.)라는 종양학 저널의 2020년 IF는 508.7이라는 초월적인 수치를 보인다. 다른 분야 비교가 얼마나 무의미하냐면, 재료공학 분야[6]는 평범한 저널이면 보통 2~4, 기계공학은 괜찮은 저널도 1~2 정도이다.
의학 관련 논문의 IF가 높은 이유는, 제약 & 보건 의료라는 산업과정에 수많은 단계에 걸쳐 연구분야가 자리잡아있고, 임상의학이 그 산업의 후반부에 있기 때문이다.[7] 어떤 의약품을 새롭게 개발한다고 할 때 원료 의약품의 합성 혹은 천연물에서의 추출, 약리작용 규명, 약물동태학적 특성 파악, 독성 평가, 제제화, 임상 시험, 대량 생산 규격 확립, 경제성 평가 등의 과정을 거치는데 각각의 분야에선 이 약물과 관련있는 다른 의약품 등이 어떤 적응증에 사용되고 어떤 효과가 있는지를 한 문장 정도는 넣기 마련이다. 따라서 위 과정을 거치면서 자연스럽게 논문 인용이 많아질 수밖에 없다.
참고로 유명한 저널이라고 알려진 네이처나 사이언스는 사실 전체 IF 순위로는 10위권 정도에 불과하며, 물리학계 최고의 저널 중 하나인 Physical Review Letters (Phys. Rev. Lett., 속칭 PRL)의 2020년 IF는 9.023에 불과하다.
의약계 최고의 CA Cancer J. Clin.와 물리학계 최고의 Phys. Rev. Lett. 사이에 IF 차이가 55배 난다고 해도 서로 다른 분야의 것이라 아무런 우열의 의미를 갖지 못한다. 55배 좋은 저널이다, 55배 내기 어렵다, 55배 믿을 만하다 등등 무슨 소리를 하더라도 헛소리가 될 수밖에 없다. PRL은 물리학 전반에 걸쳐 중요한 발견을 짧고 굵고 빠르게 발표하는 것을 컨셉으로 하는 저널로, 잘나가는 물리학자들에게도 게재 난이도가 최상급에 속하고, 대학원생에게는 평생 하나만 실어 봤으면 소원이 없겠다는 생각이 들 정도의 최정상급 저널이다. 2016년 노벨물리학상을 사실상 100% 확보했다고 여겨지는, Caltech과 MIT의 공동연구진이 LIGO[8] 관측소에서 중력파를 최초로 발견한 결과를 게재한 저널이 바로 이 PRL이다.[9]
둘째로, IF로 논문을 비교하는 것이 심지어 같은 분야 안에서도 신빙성이 떨어지는 경우도 많다. 당장 같은 물리학 안에서 위 단락에서 언급한 PRL에서 reject을 받은 결과를 다시 주섬주섬 정리해서 정신나간 척하고 IF가 20.113로 두배가 넘는 Nature Physics에 던져서 accept를 한번에 따낸 경우도 있다.[10] 화학에서도 IF 14.695의 미국화학회지의 플래그십 저널인 Journal of the American Chemical Society (J. Am. Chem. Soc., 속칭 JACS)와 같은 미국화학회에서 발간하는 IF 16.331의 ACS Energy Letters를 비교했을 때 후자가 전자보다 좋은 저널이라고 아무도 말할 수 없다.
또 자연과학 전분야를 대상으로 하는 정상급 저널인 미국 국립과학원회보(Proceedings of the National Academy of Sciences of USA, 속칭 PNAS)[11]도 IF가 9.423이지만 여기 실린 생명공학[12] 논문이 IF가 15-20쯤 되는 다른 생명공학 저널에 실린 논문보다 나쁘다고 간단히 말할 수 없다.'''
셋째로는 연구자 수와 논문 수는 적지만 중요성이 높은 저널은 고평가 혹은 지나치게 저평가를 받을 수 있다는 점이다. 가령 인용은 꾸준히 되지만 출간되는 논문의 수가 너무 적은 저널의 경우, 인용수가 동일하지만 출간되는 논문 수가 훨씬 많은 저널에 비해 높은 IF를 보이게 된다. 또한 최근에 중요성이 부각되어 생긴지 얼마 안되었지만 인용이 빈번하게 일어나는 저널도 역사가 짧은 것에 비해 높은 IF를 보일 수 있다. 반면 매우 협소한 분야의 저널은 다른 분야에서 인용을 안하는 경우가 많기 때문에 중요성에 비해 IF가 낮아지게 된다. 순수과학 저널 중에 이러한 경우가 종종 있다. 하여 IF만 가지고 학술분야의 트렌드를 예측하기는 어렵다. 비슷하게도 사회과학의 경우 유명 저널임에도 불구하고 IF가 5 언저리에 걸치는 경우도 있는데, 이런 저널들은 막상 그 분야의 연구자들에게는 이야기가 전혀 달라진다. 체감 IF는 실제로 나오는 IF에 3~4 정도를 곱한 값이라고 봐도 될 정도인데, 이는 사회과학에서 아직 인용이 활성화되지 않았기 때문. 일단 이런 저널에 게재가 성공하면 그 사람은 그 바닥에서 방귀소리 깨나 낼 수 있다.
넷째로, 임팩트 팩터는 저널을 평가하는 팩터지 연구자의 수준이나 각개 논문을 평가하는 팩터가 절대로 아니라는 것을 명심해야 한다. 1차적으로 논문을 평가하는 팩터는 어디까지나 해당 논문의 피인용수다. 네이쳐나 사이언스에 게재된 논문들도 5년간 피인용수가 연평균인 30-40은 커녕 3-4회도 못찍고 잊히는 것들이 허다하고, IF가 5도 안되는 저널에 피인용수가 네자리 수에 육박하는 굇수급들이 등재되는 경우도 있다. 노벨상 받은 연구가 IF 5점대 저널에 실리는 경우도 있으며, 특정 저널들의 경우 인용이 만번 이상되어 산업표준이 된 기술들이 실렸으나 출간되는 논문 수가 워낙 많아 IF가 3도 안되는 경우가 종종 있다. 어디까지나 특정 시간대에 대한 평균값이기 때문에 그 저널에 실린 논문 중 현재에 주목받지 못하는 논문이 끼어 있을 수도 있다. 또한 연구자의 수준은 대체로 임팩트 팩터가 아닌 h 인덱스를 통해 평가하고 있다. 하지만 많은 학생들이 '인용이 많이 될 연구'보다는 'IF가 높은 저널에 투고할 연구'를 지향하는게 대한민국 이공계의 씁쓸한 현실이다.
한국은 아직 평가시스템이나 그를 뒷받침할만한 데이터가 국가적으로 많이 쌓이지 않아서, 연구자나 논문의 수준을 게재된 저널의 IF로 평가하는 풍조가 아직 많이 남아있고, 2017년 현재도 위의 언급과 같은 본말이 전도된 것 같은 상황이 많이 벌어지지만 그래도 2000년대에 비해서 확실히 천천히 나아지고 있는 중이다.
3.1. 보완
결국 한계가 있는 IF를 보완하기 위해 다양한 수정이 있었는데, 가장 대표적인 예시가 Eigenfactor다.Eigenfactor는 2년동안 논문 수 대비 인용수(평균 피인용수)로 산출하는 IF 방식과는 다르게 5년의 기간에 한 저널의 총 논문수 대비 인용수로 산출하는 방식을 가진다. 무엇보다 기간이 짧지 않아 IF방식으로 저널을 평가한 것보다 명성과 신뢰도를 더욱 확보될수 있다.
IF와 가장 대비되는 점은 자가 인용을 배제했다는 점이다. 그래서 IF 지수는 평균적으로 1보다 큰데, EF에서는 소숫점 둘째자리 언저리 지수를 가지고 있다.
4. 기타 계량 방법
비슷한 것으로는 IPP(Impact Per Publication)라는 것도 있다. 이건 지난 3년 동안의 특정 저널에 실렸던 논문들의 올해 피인용수를 합친 값을 그 3년 동안 해당 저널에 실린 논문들의 총합으로 나눈 것이다.2012년에는 문헌정보학 박사과정의 제이슨 프림(J.Priem)이라는 인물이 트위터를 통해서 알트메트릭스(altmetrics)라는 아이디어를 내놓기도 했다. 좀 심하게 말하면 투고된 논문들이 SNS에서 '좋아요' 를 얼마나 받는지에 따라 저널의 품질을 결정하자는 것(…). 물론 진짜로 이 정도까지 우스개 급은 아니고, 웹 기반 학술 커뮤니티와 소셜 네트워크에서 학자들에게 얼마나 입에 오르내리는지의 요소를 추가한 것이다.
그 외에도 어떤 저널의 수준을 평가하기 위해서 논문 투고 신청건수 중 게재 거절 비율(rejection rate) 같은 것을 선정하자는 의견도 있다. 동료평가를 까탈스럽게 하는 저널일수록 그 저널의 품질이 좋다는 점을 이용한 것이다.
4.1. 각 분야별 상대평가 순위
대한민국의 대학에서는 이것이 가장 중요하다.JCR에서 각 분야별로 순위를 제공한다. IF를 보기 위해 저널을 검색하면 그 저널이 걸치고 있는 분야에서 순위가 몇순위인지, 그리고 그게 상위 몇%에 해당하는지를 알려준다. 현실적으로 국내 대학은 IF보다는 JCR 랭킹이 몇 %냐가 훨씬 중요하다. IF가 아무리 높아도 JCR 랭킹이 하위권이면 낮은 등급이다. 또한 JCR 랭킹은 2~4개 분류에서 동시에 제공되는데 가장 높은 1개 분류의 값만 인정한다. 예로 A부문 상위 6%, B부문 상위 15%, C부문 상위 60%(극단적인 예시일 뿐이다)일 경우 해당 저널은 상위 6% 저널이 되며 따라서 국내 대학에서 말하는 상위 10% 저널 개수는 전체 저널 개수의 10%보다는 넘게 있다. 간혹 분모 저널수가 가장 많은 것을 인정하는 경우도 있다.
5. 관련 문서
[1]
언어학자이긴 한데 실제로는 과학계량학의 발전에 지대한 영향을 미친 학자로, 애초에 과학계량학의 뿌리를 만들어냈다고도 볼 수 있는 대학자다. 물론 출판계량학 자체는 가필드 이전에도 어느 정도 연구가 되고 있던 분야지만, 가필드 이전과 이후가 상당한 차이를 보일 정도로 가필드의 영향력은 엄청난 수준이다.
[2]
숫자가 1.xxx 라면 평균보다 더 많이 인용되고, 0.xxx 라면 평균 이하라는 의미다.
[3]
미국은 법의 종류가 워낙 많아서 관련 문헌이나 연구만 해도 매년 엄청나게 쏟아졌기 때문에 이를 관리하는 특수한 기술이 도서관 내에서 발전했다.
[4]
실제로 당시 도서관들은 점점 늘어나는 막대한 과학 저널 출판량 속에서 어떤 저널을 구매할지 결정할 기준을 필요로 하고 있었다.
[5]
다만 "저널이 개명할 경우"에는 일정 기간동안 개명 전 저널과 개명 후 저널에 대한 IF가 동시에 부여되며, 개명 전 저널의 IF는 당연히 떨어지다 소멸하지만, 개명 후 저널의 IF는 (그 저널의 권위가 일관되게 유지된다는 점을 전제로) 초기 몇년간은 의미가 없을지라도 다시 증가한다. 이런 특수한 경우를 고려할 필요는 있다. 물론 개명한다고 SCI/SCIE 등재가 철회되지는 않는다.
[6]
그래도 재료공학 중에도 나노 재료 쪽은 상당히 높게 나오는 편이다.
[7]
제품화와 그 완제품의 평가에 제일 가까운 단계라는 의미.
[8]
라이고라고 읽는다. 중력파 망원경으로, 유럽의 Virgo나 일본의
KAGRA 등이 대표적.
[9]
결국 2017년 물리학상을 받았다. 라이너 바이스, 배리 C. 배리시, 킵 S. 손
[10]
이 실제 사례는 저널/그 저널의 에디터 뿐만 아니라 리뷰어도 잘 걸려야 한다는 극단적인 사례이기도 하다.
[11]
특히 미국 국립과학원(NAS) 멤버가 아닌 사람에게는 게재 난이도는 굉장히 높다. NAS 멤버에게도 어려우며 이 NAS 멤버도 되기 어렵다. 미국 명문대에서조차 교수가 NAS 멤버가 된다는 것 자체가 학교 차원에서 축하를 받을 정도로 명예롭고 어려운 일이다. 매사추세츠 공과대학교와 캘리포니아 공과대학교도 현직 교수가 각각 1,000여명, 300여명이지만 두 학교 모두 NAS 멤버십을 가진 교수는 겨우 60-70명대에 불과하다. 다만 내부적으로 허접한 논문도 실어주는 경우가 생겨서 PNAS를 별로로 취급하는 분야도 있다.
[12]
생명공학 저널들은 IF가 전반적으로 높은 편이다.