생성형 AI모델의 요약 성능 평가 연구
Summary evaluation performance studies with generative AI models
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
인간에 의한 수작업 평가는 시간과 비용 소모, 주석자 간의 의견 불일치, 평가 결과의 품질 등 불가피한 한계가 있다. 본 연구에서는 생성 AI모델 중 문맥을 고려하고 긴 문장을 입출력할 수 있는 ChatGPT를 활용한 한국어 요약 평가가 사람의 평가를 대체하거나 보완할 수 있는지 살펴보았다. 이를 위해 정량적 지표로 BERTScore를, 정성적 지표로 ‘일관성, 관련성, 문법, 유창성’ 등을 사용하여 ChatGPT가 생성한 요약에 대한 정성 및 정량적 평가를 실시했다. 평가 결과 ChatGPT4는 사람의 수작업 평가를 보완할 수 있는 잠재력을 가지고 있는 것을 확인하였다. 영어에 대해 학습된 모델이라는 점을 감안하여 한국어 오류 요약문 평가를 통해 오류 탐지 성능을 추가로 평가하고, 생성형 AI를 이용한 평가의 타당성과 신뢰성을 검증하기 위해 문장과 비문에 대해 반복적으로 평가하여 ChatGPT4의 오류 요약문 평가 성능과 내부 신뢰도를 검증했다. 그 결과 ChatGPT3.5와 ChatGPT4의 오류 요약 평가 성능이 불안정하여 아직은 사람의 평가를 보조하는 데 어려움이 있음을 확인하였다.
Abstract
Manual human evaluation has inevitable limitations such as time and cost consumption, disagreement among annotators, and quality of evaluation results. In this study, we investigated whether Korean summary evaluation using ChatGPT, a generative AI model that considers context and can input and output long sentences, can replace or complement human evaluation. For this purpose, we conducted qualitative and quantitative evaluations of summaries generated by ChatGPT using BERTScore as a quantitative indicator and 'consistency, relevance, grammar, and fluency' as qualitative indicators. The results showed that ChatGPT4 has the potential to complement manual human assessment. Given that the model was trained on English, we further evaluated its error detection performance using Korean error summaries and repeatedly evaluated it on sentences and inscriptions to verify the validity and reliability of the evaluation using generative AI, thus validating ChatGPT4's error summary evaluation performance and internal reliability. The results showed that the error summary evaluation performance of ChatGPT3.5 and ChatGPT4 is unstable, and it is still difficult to assist human evaluators.
참고문헌 (21)
- "국립국어원 신문 말뭉치(버전 2.0)" (2021), 국립국어원[URL]
- "국립국어원 문서 요약 말뭉치(버전 1.0)" (2020), 국립국어원[URL]
- 김영주, "한국어 문법성 판단 테스트 개발 연구", 국어교육, 137, pp.353~380 (2012)
- 양민철, "영어 논술 자동 평가를 위한 언어 유창성 측정방법", 한국정보과학회 언어공학연구회: 학술대회논문집(한글 및 한국어 정보처리), pp.25~29 (2011)
- Alexander R. Fabbri, "Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher, Dragomir Radev; SummEval: Re-evaluating Summarization Evaluation", Transactions of the Association for Computational Linguistics, 9, pp.391~409 (2021)
- Bogdan Gliwa, "Iwona Mochol, Maciej Biesek, Aleksander Wawer. "SAMSum corpus: A human-annotated dialogue dataset for abstractive summarization"", Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp.70~79 (2019), Association for Computational Linguistics
- Chin-Yew Lin, "ROUGE: A Package for Automatic Evaluation of Summaries", Proceedings of Association for Computational Linguistics 2021 (2021)
- Koubaa, A., "GPT-4 vs. GPT-3.5: A concise showdown", ~ (2023)
- Shen, C., "Large language models are not yet human-level evaluators for abstractive summarization", Findings of the Association for Computational Linguistics:EMNLP 2023, pp.4215~4233 (2023)
- Yulong Chen, "DialogSum: A real-life scenario dialogue summarization dataset", Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp.5062~5074 (2021)