동료평가의 예측가능성 연구: 학술지 게재논문평가를 중심으로
Does Peer Review for Journals Predict Performance of Research?
0
조회
0
다운로드
9
인용
0
참고문헌
키워드
초록
동료평가는 전세계 학술지에서 가장 안정적이고 일관성있는 방법으로 인식되어 많이 활용되고 있으나, 동료평가가 연구의 내재적 가치를 제대로 평가할 수 있느냐에 대한 의구심, 다시말해 동료평가의 예측가능성 문제가 지속적으로 제기되고 있고, 그에 대한 경험적 연구도 미진한 상태이다. 본 연구는 동료평가의 예측가능성에 대한 실증적 분석을 실시하였다. 이를 위해 학술지 게재논문평가를 연구대상으로 하여 학술지의 논문평가등급에 따른 연구성과 활용도의 차이가 유의미한지, 행정학․정책학 분야의 등재지와 등재후보지 간의 활용도의 차이가 유의미한지에 대한 차이분석을 실시하여, 다음과 같은 몇 가지 주된 사실을 발견하였다. 첫째, 논문심사등급과 연구성과 활용도에는 특별한 관련성이 없으며, 등재지와 등재후보지간에 연구성과 활용도에 차이는 존재하였으며, 동일 등급의 학술지들간에 연구성과 활용도의 차이가 존재하였다. 둘째, 동료평가가 가질수 있는 근본적 문제인 평가자들의 주관적 견해 및 해석의 문제를 보다 객관화하기 위해 학술단체 차원에서, 게재논문 평가시 이중적 평가구조를 활성화할 필요가 있다. 셋째, 학술지의 등급을 결정하는 (구)한국학술진흥재단은 학술지 평가에 있어 논문활용도에 대한 비중을 높여 학술지의 주요 목적인 지식이전 및 공유를 활성화시켜야 한다. 마지막으로, 동료평가의 주체가 되는 평가자들은 보다 객관적이고, 공정한 평가를 수행하기 위해 많은 노력을 기울여야 할 것이다.
Abstract
Peer review is recognized by stable method in all the world scientific paper. But predictive validity problem of peer reveiw appears continuously and empirical research is unexhausted. This research executed empirical analysis about predictive validity of peer review. Research target is peer review for journals. Research questions are (ⅰ) "is it differnece practical use of research performance by paper review grade?" and (ⅱ) "is it difference practical use of research performance by an academy grade in public administration and public policy?". And found some results. First, examination of theses grade and practical use of research performance are no particular relations. Second, an academy need to activate dual review structure when reveiw publication. Third, KRF must heighten weight about practical use of research performance in scientific paper estimation and must activate knowledge transfer, knowledge share for purposes in academy. Finally, peer reviewers must evaluate fair and objective review.
참고문헌 (24)
- 김인묵, "기초과학연구지원사업별 평가전략 정립을 위한 정책연구조사", 한구과학재단, ~ (2002)
- 엄기용, "연구신청서 동류평가에 관한 연구:한국과학재단을 중심으로.한국과학기술원박사학위논문", 박사, pp.1998
- 연경남, "연구계획서 평가시 정량지표 도입의 타당성에 관한 분석", 2004 한국기술혁신학회 추계학술대회 논문집, pp.596~607 (2004), 한국기술혁신학회
- 이무신, "과학기술과 평가: 동료평가의 이론과 실제", 피디, ~ (2000)
- 임경순, "동료평가제를 생각한다", 과학과 기술, 24~25 (1999)
- 한국과학기술정보연구원, "해외 연구개발 성과평가 제도 동향 및 사례분석", ~ (2004)
- Armstrong,J.S, "Peer Review for Journals: Evidence on Quality Control, Fairness, and Innovation", Science and Engineering Ethics, 3(1), pp.63~84 (1997)
- Barke,P.R, "Politic and Interests in the Republic of Science", Minerva, 41, pp.302~325 (2003)
- Bozeman,B, "Peer Review and Evaluation of R&D Impact in:Evaluating R&D Impact: Methods and Practice", pp.79~85 (1993), Academic Publishers
- Bornmann, L, "Selction of Research Fellowship Recipients by Committee Peer Review. Reliability, Fairness and Predictive Validity of Board of Trustees' Decision", Scientometrics, 62(2), pp.297~320 (2005)
- Bornmann, L, Mutz. R, "Gender Differences in Grant Peer Review: A Meta-Analysis", Journal of Infometrics, 1, pp.226~238 (2007)
- Broome,M.E, "Editorial Peer Review: Evolution or Revolution", Nursing Outlook, 54(2), pp.61~62 (2006)
- Brustad,R.J, "Editorial Perspective: The Contribution of the Manuscript-Review Process to Knowledge Development in Sport Exercise Psychology", Journal of Sport & Exercise Psychology, 21, pp.307~312 (1999)
- Chubin, D. E, "Peerless Science" (1990), State University of New York Press
- Claveria, E. L, "Does peer review predict the performance of research projects in health science", Scientometrics, 47(1), pp.11~23 (2000)
- General Accounting Office(GAO), "Peer Review Practices at Federal Science Agencies Vary", ~ (1999)
- Mayo, N. E, "Peering at Peer Review Revealed High Degree of Chance Associated with Funding of Grant Applications", Journal of Clinical Epidemiology, 59, pp.842~848 (2006)
- Nederhof,A.J, "The Validity and Reliability of Evaluation of Scholarly Performance", Handbook of Quantitative Studies of Science and Technology, ~ (1988)
- Polanyi,M, "The Republic of Science: Its Political and Economy Theory", Minerva, 1(1), pp.54~73 (1962)
- Pouris,A., "Peer Review in Scientifically Small Countries", R&D Management, 18(4), pp.333~340 (1988)
- Prewitt,K., "The Public and Science Policy. ｢Science", Science, Technology and Human Values, 7, pp.5~14 (1982)
- Roy,R., "Funding Science: The Real Defects of Peer Review and an Alternative to it", Science, Technology and Human Values, 10(3), pp.47~54 (1985)
- Shatz,D, "Peer Review: A Critical Inquiry" (2004), Rowman & Littlefield Publishers, Inc.
- Turner,L, "Promoting F.A.I.T.H in Peer Review: Five Core Attributes of Effective Peer Review", Journal of Academic Ethics, 1, pp.181~188 (2003)