상대적순위보정지수(R2nIF)를 활용한 주요국의 SCI 논문 질적 수준 비교분석
Measuring the quality of research papers across countries using Relatively Rank-normalized Impact Factor (R2nIF)
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
연구개발에 따른 성과물은 다양한 형태가 있지만 대부분의 경우 일차적으로 논문의 형태로 발표된다. 따라서 논문에 대한 분석은 연구 성과 평가의 가장 기본적인 수단이된다. 문제는 논문으로 나타난 연구성과를 얼마나 객관적으로 측정할 수 있는가이다. 학문분야의 특징에 따라 논문 수는 물론 인용횟수 등이 다르게 나타나기 때문에 발표된 논문의 수준이 어느 정도인지를 객관적으로 평가하는 일은 성과분석의 가장 중요한 첫걸음이다. 이 논문에서는 SCI 논문을 대상으로 증거기반 접근을 실시함으로써 주요국에서 생산되는논문들이 세계 속에서 차지하는 질적 위상을 분석하고자 하였다. 이러한 분석을 위해 여러연구진들이 수행해 왔던 SCI 논문 질적 계량지표를 살펴보았으며, 이들 지표의 한계점을 보완함으로써 연구 분야별 비교, 국가별 비교, 세계 수준과 비교가 가능한 신규 계량지표, 상대적 순위보정영향력지수(Relatively Rank-Normalized Impact Factor, R2nIF)를 개발하였다. 본 연구를 통해 흥미를 끄는 두 가지 결과를 얻을 수 있었다. 우선 우리의 예상을 벗어나태국과 이집트, 그리고 뉴질랜드가 각각 지구과학, 수학, 약리학에서 가장 우수한 논문을 생산하고 있는 국가로 분석되었다는 점이다. 둘째는 인구 500만 이하의 강소국인 유럽의 스위스, 네덜란드, 덴마크, 아시아의 싱가포르, 그리고, 중동의 이스라엘이 최고 수준의 논문 생산국이라는 점이다. 특히, 스위스는 분석 대상 21개 분야 중 컴퓨터과학, 면역학 등 무려 4개 분야에서 가장 우수한 논문을 생산하는 국가로 랭크되었고, 네덜란드는 화학과 임상의학 등 3개 분야에서 최고 수준의 논문을 생산하는 것으로 나타났다. 이처럼 전 세계에서 높은 국가경쟁력을 자랑하고 있는 강소국들이 과학분야에서도 높은 수준의 논문을 생산하고 있음을확인할 수 있었다. 본 연구를 통해 개발한 Relatively Rank-Normalized Impact Factor를 SCI논문 성과분석에 적용해 본 결과, 향후 이 신규 질적지표는 피인용횟수(Citation) 정보 수집이 불가능한 대부분의 성과분석 및 성과평가에 적절하게 활용될 수 있을 것으로 기대된다.
Abstract
This paper introduces a new qualitative measurement indicator, Relatively Rank-normalized Impact Factor (R2nIF) that can overcome drawbacks of the existing research performance measures. With the help of this innovative indicator, this study analyzes and compares the quality of research papers across countries and National Science Indicators (NSI) standard academic fields. The development of an improved bibliometric indicator for evaluating the quality of research papers and disentangling the “international” dimension of research performance will be of interest to academics and practitioners alike.
참고문헌 (32)
- CWTS, "Bibliometric profiles of academic electrical and electronic engineering research in Netherlands(1989-1998)", Center for Science & Technology Studies, ~ (2000)
- Garfield, E., "Interview with Eugene Garfield, Chairman Emeritus of the Institute for Scientific Information(ISI)", Cortex, 37(4), pp.575~577 (2001)
- Kim, Yong-Jeong, "Measuring the Quality of Research Performance by Relative Rank-normalized Impact Factor", Asian Research Policy, 1(1), pp.27~42 (2010)
- Kostoff, R. N., "Federal research impact assessment : axioms, approaches, applications", Scientometric, 34, pp.163~206 (1995)
- Leeuwen, T. N., "The Use of Combined Bibliometric Methods in Research Funding Policy", Research Evaluation, 10(3), pp.195~201 (2001)
- Marshakova-Shaikevich, I., "The standard impact factor as an evaluation tool of science and scientific journals", Scientometric, 25, pp.283~290 (1996)
- Norris, M., "Citation Counts and the Research Assessment Exercise V-Archeology and the 2001 RAE", Journal of Documentation, 59, pp.709~739 (2003)
- Oppenheim, C., "The correlation between citation counts and the 1992 research assessment exercise ratings for British research in genetics, anatomy and archaelogy", Journal of Documentation, 53, pp.477~487 (1997)
- Prichard, A., "Statistical bibliography or bibliometrics", Journal of Documentation, pp.358~359 (1969)
- Pudovkin, A. I., "‘Rank-normalized impact factor : a way to compare journal performance across subject categories’", Proceedings of the 67th ASIS&T Annual Meeting, 41, pp.507~515 (2004)
- Seglen, P. O., "Why the impact of journals should not be used for evaluating research", British Medical Journal, 314(7079), pp.498~502 (1997)
- Sen, B. K., "Normalized impact factor", Journal of Documentation, 48, pp.318~329 (1992)
- Warner, J., "Citation analysis and research assessment in the United Kingdom", Bulletin of the American Society for Information Science and Technology, 30, pp.26~27 (2003)
- 강대신, "연구성과의 질적 평가를 위한 계량정보학적 분석에 관한 연구", 정보관리학회지, 26(3), pp.377~394 (2009), 한국정보관리학회
- 과학기술논문(SCI) 분석 연구, "교육과학기술부", ~ (2010)
- 국가과학기술사업 조사분석, "교육과학기술부", ~ (2010)
- 국가연구개발사업 성과분석, "교육과학기술부", ~ (2010)
- 연구개발활동조사, "교육과학기술부", ~ (2010)
- 주요국의 기술분야별 SCI 논문 질적 위상 분석 및 시사점, "김용정", KISTEP, ~ (2011)
- 기초과학연구지원사업별 평가전략 정립을 위한 정책조사연구, "김인묵", 한국과학재단, ~ (2002)
- 연경남, "연구계획서 평가시 정량지표 도입의 타당성에 관한 분석", 기술혁신학회지, 8(1), pp.261~276 (2005), 한국기술혁신학회
- 이혁재, "연구성과의 질 제고를 위한 논문평가 모형개발", 기술혁신학회지, 9(3), pp.538~557 (2006), 한국기술혁신학회
- 2008년도 국가연구개발사업 성과분석보고서, "한국과학기술기획평가원", 교육과학기술부, ~ (2008)
- 과학기술논문(SCI)분석 연구, "한국과학기술기획평가원", 교육과학기술부, ~ (2009)
- 연구개발활동조사, "한국과학기술기획평가원", 교육과학기술부, ~ (2009)
- 과학기술부 연구개발사업 성과분석보고서, "한국과학재단", 교육과학기술부, ~ (2008)
- 합리적인 R&D 평가체계 확립을 위한 성과지표 개발에 관한 연구, "한국과학재단", ~ (2007)
- 연구성과의 질 제고를 위한 논문평가 모형개발 (Ⅰ), "한국기술혁신학회", ~ (2006)
- 주요저널에 게재된 한국인 연구자 논문현황 분석, "한국연구재단", ~ (2009)
- 한국인 연구자의 논문을 중심으로 피인용 상위 1% 논문 현황 분석, "한국연구재단", ~ (2009)
- 교육과학기술부 연구개발사업 성과분석보고서, "한국연구재단", ~ (2010)
- 국가연구개발사업의 과학적 성과분석을 위한 새로운 계량지표 개발에 관한 연구, "허정은", 기술혁신학회, 22~41 (2008)