한국어 학습자 오류에 대한 거대언어모델과 모어 화자의 교정 양상 비교 연구
A Comparative Study of Error Correction Patterns between Large Language Models and Native Speakers for Korean Language Learners
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구는 외국인 한국어 학습자의 작문에서 나타나는 오류를 인간 교정자와 거대언어모델의 교정 양상을 비교ㆍ분석하였다. 이를 통해 현재 LLM의 한국어 자동 교정 도구로서의 활용 가능성을 평가하고자 하였다. 연구 자료는 국립국어원의 <한국어학습자말뭉치>에서 수집된 고급 학습자 작문 100개였으며, 교정 결과는 문장 단위로 비교하여 코사인 유사도를 산출하였다. 분석 결과, LLM의 교정 결과와 인간 교정자의 교정 결과는 평균 0.8의 유사도를 보였으며, 전체 문장의 약 40%는 완전히 일치하였다. 그러나 문체와 화계, 피동 구문, 문법 구조, 연어 생성 등에서 차이가 나타났다. LLM은 문체를 일관되게 하지 못하거나, 한국어의 특정 문법 구조를 올바르게 처리하지 못하는 경향을 보였으나, 연어 생성에서는 상대적으로 더 자연스러운 표현을 제공하는 경우도 있었다. 본 연구는 LLM의 한국어 교정 능력에 대한 연구로서 의의가 있으며 향후 연구에서는 다양한 학습자 변인과 데이터의 확장을 통한 심층 분석을 제언한다.
Abstract
This study compares and analyzes the error correction patterns in the writing of Korean language learners between human correctors and large language models (LLMs). The primary goal is to evaluate the feasibility of utilizing LLMs as automatic Korean error correction tools. The research data comprises 100 writing samples from advanced learners, sourced from the National Institute of Korean Language's Korean Learners Corpus. The correction results were compared sentence by sentence, and cosine similarity was calculated to measure the alignment. The findings indicate an average similarity score of 0.8 between LLM corrections and human corrections, with around 40% of the sentences showing complete agreement. However, notable differences were observed in terms of stylistic consistency, speech levels, passive constructions, grammatical structures, and collocation generation. LLMs exhibited inconsistencies in maintaining style and handling specific grammatical structures in Korean, yet in some cases, they provided more natural collocations. This research holds significance as an evaluation of the current capabilities of LLMs in Korean error correction. Future studies are suggested to expand on learner variables and data to provide deeper insights.
참고문헌 (21)
- 고스란, "인공 지능(챗 GPT)을 활용한 한국어 고급 글쓰기 수업 연구", 석사, pp.2023
- 강수연, "한국어 헬스케어 개체명 인식을 위한 거대 언어 모델에서의 형태소 기반 Few-Shot 학습 기법", 한국정보처리학회 학술대회논문집, 30(2), pp.428~429 (2023), 한국정보처리학회
- 강예지, "한국형 법률 AI 모델 개발을 위한 벤치마크 설계 및 평가 방안연구", 박사, pp.2024
- 김유진, "거대 언어 모델을 활용한 혐오 표현 대응 발화의 생성 및 평가연구", 석사, pp.2024
- 김형민, "한국어교육에서의 대화형 인공지능 챗봇 적용 가능성 탐색 -고급한국어 학습자와 ChatGPT의 상호작용 분석을 중심으로-", 우리어문연구, (76), pp.261~292 (2023), 우리어문학회
- 김유신, "코드 너머의 언어: 대규모 언어 모델과 프롬프트 엔지니어링" (2024), 생각나눔
- 박찬준, "초거대 언어모델 연구 동향", 정보과학회지, 41(11), pp.8~24 (2023)
- 서지민, "한국어 악성 프롬프트 주입 공격을 통한 거대 언어 모델의유해 표현 유도", 정보보호학회논문지, 34(3), pp.451~461 (2024), 정보보호학회
- 심주용, "한국어 초거대언어모델 평가척도의 비교 분석", 한국통신학회 학술대회논문집, 2024(1), pp.344~345 (2024), 한국통신학회
- 송영숙, "인공지능의 일상 대화 추론 능력 향상을 위한 자연어 생성 연구", 박사, pp.2023
- 이남호, "한국어 학습자의 대화 능력 향상을 위한 대화 생성형 인공지능 활용 가능성 연구", 배달말, (72), pp.53~90 (2023), 배달말학회
- 이승준, "한국어를 위한 지시어 튜닝 조사 연구 : 거대 언어 모델 학습 및 적용", 정보과학회지, 41(11), pp.58~66 (2023), 정보과학회
- 이재원, "초거대 언어 모델을 이용한 한국어 학습자 문법 오류 피드백 연구", 석사, pp.2023
- 이하늘, "한국어 읽기 평가에서 자동 문항 생성의 가능성 탐색", 교육문화연구, 30(3), pp.659~686 (2024), 교육연구소
- 이지용, "인공지능 시대의 한국어 의미 교육-AI 번역, 챗봇 빌더, 생성형AI를 중심으로-", 한국어 의미학, 84, pp.59~92 (2024), 한국어의미학회
- 장연지, "초거대 언어 모델을 활용한 감정 분석 연구", 박사, pp.2024
- 장지영, "생성형 AI를 활용한 학문 목적 한국어 토론 수업 방안 연구-가네의수업사태와 STCPR을 기반으로-", 한국어 교육, 35(2), pp.133~157 (2024), 국제한국어교육학회
- 정영상, "생성형 대규모 언어 모델과 프롬프트 엔지니어링을 통한 한국어 텍스트 기반 정보 추출 데이터셋 구축 방법", 정보처리학회논문지, 소프트웨어 및 데이터 공학, 12(11), pp.481~492 (2023), 정보처리학회
- 주하영, "오픈 소스 기반의 거대 언어 모델 연구 동향 : 서베이", 한국정보전자통신기술학회논문지, 16(4), pp.193~202 (2023), 한국정보전자통신기술학회
- Ozdemir, S., "Quick Start Guide to Large Language Models: Strategies and Best Practices for Using ChatGPT and Other LLMs" (2023), Addison-Wesley Professional