본문 바로가기
KERD
논문KCI 등재

연구데이터 관점에서 본 거대언어모델 품질 평가 기준 제언

A Proposal of Evaluation of Large Language Models Built Based on Research Data

한나은|서수정|엄정호
한국정보관리학회|2023.09|정보관리학회지 (Journal of the Korean Society for Information Management)|제40권 제3호|pp. 77-98|DOI http://doi.org/10.3743/KOSIM.2023.40.3.077

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

거대언어모델연구데이터품질평가Large Language Model (LLM)데이터품질관리품질평가기준Quality Evaluation for LLMResearch Data Quality Management (DQM)evaluation criteria for LLM
주제분류문헌정보학

초록

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

Abstract

Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.

참고문헌 (45)

  1. 국가과학기술연구회, "연구데이터 관리 가이드라인 (2019-07)", ~ (2019)
  2. "국가연구개발정보처리기준", 과학기술정보통신부고시 제2020-102호, ~
  3. 김선태, "연구데이터 이해와 관리" (2017), 한국과학기술정보연구원
  4. 김형섭, "데이터 품질관리 평가 모델에 관한 연구", 한국융합학회논문지, 11(7), pp.217~222 (2020), 한국융합학회[DOI]
  5. 박성호, "텍스트 및 데이터 마이닝을 목적으로 하는 타인의 저작물의 수집·이용과 저작재산권의 제한 - 인공지능의 빅데이터 활용을 중심으로 -", 인권과 정의, (494), pp.39~69 (2020), 대한변호사협회[DOI]
  6. 박현경, "인공지능 학습과정에서 저작물의 이용에 관한 소고", 스포츠엔터테인먼트와 법, 23(1), pp.129~152 (2020), 한국스포츠엔터테인먼트법학회[DOI]
  7. 초거대언어모델의 부상과 주요 이슈: ChatGPT의 기술적 특징과 사회적, 산업적 시사점, "안성원", 소프트웨어정책연구소, ~ (2023)
  8. 안전행정부, "공공데이터 관리지침, 제2014-13호", ~ (2014)
  9. 이경님, "초거대 언어 모델을 기반으로 한 AI 대화 인터페이스 －AI 대화 모델의 현황과 언어적 연구의 모색－", 國語學, (105), pp.345~374 (2023), 국어학회[DOI]
  10. 이기창, "(Do it!) BERT와 GPT로 배우는 자연어 처리: 트랜스포머 핵심 원리와 허깅페이스패키지 활용법" (2021), 이지스퍼블리싱
  11. ChatGPT 기술 산업 현황 보고서, "이수현", 한국저작권위원회, ~ (2023)
  12. 조태호, "모두의 딥러닝-누구나 쉽게 이해하는 딥러닝" (2022), 도서출판길벗
  13. 한국데이터베이스진흥원, "데이터 품질관리 지침(Ver 2.1)", ~ (2006)
  14. 한나은, "연구데이터 품질관리를 위한 프로세스 모델 제안", 정보관리학회지, 40(1), pp.51~71 (2023), 한국정보관리학회[DOI]
  15. 我妻 幸長, "실체가 손에 잡히는 딥러닝, 기초부터 실천 프로그래밍" (2019), 책만
  16. Brown, T., "Language models are few-shot learners", Advances in Neural Information Processing Systems, 33, pp.1877~1901 (2020)
  17. Buchanan, B., "Truth, lies, and automation", Center for Security and Emerging Technology, 1(1), pp.2~ (2021)
  18. "Vicuna: An Open-source Chatbot Impressing Gpt-4 with 90%* Chatgpt Quality" (2023)[URL]
  19. Chomsky, N., "Logical structure in language", Journal of the American Society for Information Science, 8(4), pp.284~ (1957)
  20. Dwivedi, Y. K., "“So what if ChatGPT wrote it?” multidisciplinary perspectives on opportunities, challenges and implications of generative conversational ai for research, practice and policy", International Journal of Information Management, 71, pp.102642~ (2023)
  21. English, L. P., "Information Quality Applied: Best Practices for Improving Business Information, Processes and Systems" (2009), Wiley
  22. "Realtoxicityprompts:Evaluating Neural Toxic Degeneration in Language Models" (2020)[URL]
  23. Hale, J., "A Probabilistic Earley Parser as a Psycholinguistic Model", Second Meeting of the North American Chapter of the Association for Computational Linguistics (2001)
  24. International Organization for Standardization, "ISO", IEC 25024: 2015: Systems and Software Engineering-Systems and Software Quality Requirements and Evaluation (SQuaRE)-Measurement of Data Quality, IEC, pp.2015, ~
  25. Jurafsky, D, "Speech and Language Processing" (2021), Standford Un
  26. "Scaling Laws for Neural Language Models" (2020)[URL]
  27. Kindling, M., "Data Quality Assurance at Research Data Repositories", Data Science Journal, 21(1) (2022)[DOI]
  28. Lee, P., "The AI Revolution in Medicine: GPT-4 and beyond" (2023), Pearson
  29. Lemley, M. A., "Fair learning", Texas Law Review, 99(4), pp.743~785 (2020)
  30. Levy, R., "Expectation-based syntactic comprehension", Cognition, 106(3), pp.1126~1177 (2008)[DOI]
  31. Lewkowycz, A., "Solving quantitative reasoning problems with language models", Advances in Neural Information Processing Systems, 35, pp.3843~3857 (2022)
  32. "Truthfulqa: Measuring How Models Mimic Human Falsehoods" (2021)[URL]
  33. GPT-4 Technical Report, "OpenAI", ~ (2023)
  34. "Instruction Tuning with Gpt-4" (2023)[URL]
  35. Pennycook, G., "Shifting attention to accuracy can reduce misinformation online", Nature, 592(7855), pp.590~595 (2021)
  36. "Holistic Evaluation of Language Models" (2022)[URL]
  37. "Language Models as Knowledge Bases?"[URL]
  38. Radford, A., "Language models are unsupervised multitask learners", OpenAI blog, 1(8), pp.9~ (2019)
  39. "Scaling Language Models: Methods, Analysis & Insights from Training Gopher" (2021)[URL]
  40. "Stanford Alpaca: An Instruction-following Llama Model" (2023)[URL]
  41. "Galactica: A Large Language Model for Science" (2022)[URL]
  42. "Llama: Open and Efficient Foundation Language Models" (2023)[URL]
  43. "Structural Supervision Improves Few-shot Learning and Syntactic Generalization in Neural Language Models" (2020)[URL]
  44. Yarowsky, D., "Unsupervised word sense disambiguation rivaling supervised methods", 33rd Annual Meeting of the Association for Computational Linguistics, pp.189~196 (1995)
  45. Yasunaga, M., "Deep Bidirectional language-knowledge graph pretraining", Advances in Neural Information Processing Systems, 35, pp.37309~37323 (2022)

관련 논문AI추천

LLM(Large Language Model) 속성과 성능 연관성 연구임철홍한국엔터프라이즈아키텍처학회 · 정보화연구2023 · 제20권 제3호대규모 언어모델 기반 학술 토픽 설명 생성의 정량․정성 평가 연구: OpenAlex 사례한 혁, 권태훈, 김상국한국산업경영시스템학회 · 한국산업경영시스템학회지2025 · 제48권 제4호생성형 AI 모델의 한국문화 이해 능력 평가 방법에 관한 연구김승현, 손기준한국정보처리학회 · 정보처리학회 논문지2024 · 제13권 제9호ChatGPT, 생성형 AI 시대 도서관의 데이터 리터러시 교육에 대한 연구이정미한국문헌정보학회 · 한국문헌정보학회지2023 · 제57권 제3호생성형 AI모델의 요약 성능 평가 연구김한샘, 최규리언어정보연구원 · 언어사실과 관점2024 · 제62권 ChatGPT가 자동 생성한 더블린 코어 메타데이터의 품질 평가: 국내 도서를 대상으로김선욱, 이용구, 이혜경한국정보관리학회 · 정보관리학회지2023 · 제40권 제2호

이 간행물의 다른 논문 (10건)

우리나라 공공도서관의 통합검색 서비스 특성에 관한 연구: 서울시 자치구 통합도서관을 중심으로이수상pp. 1-23한국의 국제 학술지 데이터 공유 정책 현황 및 편집인 인식에 관한 연구김지현, 배서영pp. 25-54주제가이드 개선을 위한 대학생의 학술정보탐색행태 연구: C 대학을 중심으로이승민, 김아현pp. 55-76메타데이터를 활용한 기록물 자동분류 성능 요소 비교장우권, 김영범pp. 99-118디지털도서관의 퍼블릭도메인 저작물 서비스 현황에 관한 연구: 국립중앙도서관의 보호기간 만료 저작물 서비스 사례를 중심으로이호신pp. 119-142
원문 보기