사회과 자동문항생성을 위한 대규모 언어모델의 활용 가능성 탐색
Exploring the feasibility of using large language models for automated item generation in social studies
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구는 대규모 언어모델(Large Language Model, LLM) 기반 자동문항생성 기술의 활용 가능성과 한계를 탐색하기 위해 수행되었다. 이를 위해 사실적 지식에 대한 이해와 논리적 추론이 요구되는 중등사회과 문항을 대상으로 분석을 수행하였다. 텍스트, 이미지, 표, 그래프 등 문항의 구성요소를 기준으로 네 가지 문항 유형을 분류하고, 다양한 프롬프팅 기법을 활용하여 각 유형별로 문항 생성을 시도하였다. 문항 생성 모델 성능의 일관성과 정확성을 확보하기 위해 OpenAI의 어시스턴트 API 환경에서 문항을 생성하였고, 2015 개정 사회과 교육과정 지식체계 문서를 투입 자료로, DOK(Depth of Knowledge)의 프레임워크를 문항 생성의 준거로 활용하였다. 연구 결과, LLM은 교육과정 성취기준에 포함된 개념과 관련된 지식을 추출하여 발문과 선택지 등 문항 구성에 필요한 텍스트를 적절히 생성할 수 있었다. 특히 예시 문항을 제공한 뒤 원샷 프롬프팅을 이용하여 변형 문항을 생성하는 작업에서 활용도가 높은 것으로 나타났다. 표 또는 그래프가 포함된 문항의 경우, 사전에 정의된 템플릿 기반의 문항 생성 방법과 LLM의 자료 해석 능력을 조합하여 활용하는 경우 성능이 더 향상될 것으로 보인다. 단, 생성된 문항은 서술 내용 중 오류가 포함될 가능성이 있어, 문항 개발 과정에서 문항 초안으로 활용할 수 있을 것으로 보이며, 전문가의 검토를 거쳐 완성도를 높이면 실제 평가 상황에서 활용할 수 있는 수준의 정확성과 타당성을 확보할 수 있을 것으로 보인다. 이상의 연구 결과를 바탕으로 LLM을 활용한 자동문항생성 기술이 문항 개발 과정을 개선하는 데에 유용성과 활용 가능성을 가짐을 확인하였으며, 다양한 유형의 문항을 생성하기 위한 효율적인 방법을 제안하였다.
Abstract
The purpose of this study is to explore the feasibility of using Large Language Models (LLMs) in automated item generation (AIG). Social studies subjects of secondary education were chosen because comprehension of factual knowledge and logical reasoning are essential skills for solving test items. Social studies items were categorized into four types based on main elements: text, images, tables, and graphs. Item generation procedures were conducted for these four types in the OpenAI’s Assistant API environment using various prompting techniques to ensure consistency and accuracy. Official documents from the 2015 revised social studies curriculum were used as input resources, and Webb’s Depth of Knowledge (DOK) frameworks were used to control the cognitive levels of generated items. The LLM-based AIG effectively retrieved knowledge related to concepts specified in the curriculum content standards and generated relevant text for stimuli and options for multiple-choice items. One-shot prompting was particularly useful in generating item variants. For items including tables or graphs, combining predefined template-based AIG methods with the LLM’s data interpretation capabilities produced better results than using the LLM-based AIG alone. However, some items contained content flaws or construct-irrelevant elements, indicating the need for thorough review by content experts. Based on these findings, we suggested guidelines for generating various types of test items and identified the potentials and limitations of the LLM-based AIG.
참고문헌 (23)
- 강대현, "사회과 평가 문항 개발의 기본 방향 탐색", 사회과교육, 52(1), pp.103~115 (2013)
- 김성연, "수학교과에서 자동문항생성 기반의 디지털 평가 활용 방안 : CAFA 시스템을 중심으로", 수학교육, 61(4), pp.581~595 (2022)
- 신동광, "영어교육에서 AI 활용의 한계는 어디쯤일까? : 자동 지문 생성 및 자동 문항생성의 활용가능성", 영어교과교육, 21(3), pp.147~163 (2022)
- 신동광, "AI 도구를 활용한 중등교사 영어 출제 연수 사례 연구 : ChatGPT를 중심으로", 어학연구, 59(1), pp.21~42 (2023)
- 이기복, "사회과 개념학습의 활성화 방안 : 문제해결 맥락 구성과 추론 과정을 중심으로", 초등교육연구, 23(1), pp.211~236 (2010)
- 조용상, "생성 AI 기반의 평가 체계 및 지식 추적 방법 설계 연구", 컴퓨터교육학회 논문지, 27(1), pp.143~156 (2024)
- 최숙기, "생성형 AI를 활용한 현직 국어교사의 서‧논술형 평가 문항 개발 양상 분석", 청람어문교육, 97, pp.243~270 (2024)
- Ayfer, S., "Using OpenAI GPT to generate reading comprehension items", Educational Measurement : Issues and Practice, 43(1), pp.5~18 (2024)
- Chan, W., "A case study on ChatGPT question generation", 2023 IEEE International Conference on Big Data (BigData), pp.1647~1656 (2023)
- Das, B., "Automatic question generation and answer assessment : A survey", Research and Practice in Technology Enhanced Learning, 16(1), pp.1~15 (2021)
- Gierl, M. J., "Automatic item generation, theory and practice" (2012), Routledge Chapman & Hall
- Giray, L., "Prompt engineering with ChatGPT : A guide for academic writers", Annals of Biomedical Engineering, 51(12), pp.2629~2633 (2023)
- "A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions"[URL]
- Kıyak, Y. S., "A ChatGPT Prompt for writing case-based multiple-choice questions", Revista Española de Educación Médica, 4(3), pp.98~103 (2023)
- Kıyak, Y. S., "ChatGPT for generating multiple‑choice questions : Evidence on the use of artificial intelligence in automatic item generation for a rational pharmacotherapy exam", European Journal of Clinical Pharmacology, 80(5), pp.729~735 (2024)
- Lee, U., "Few-shot is enough:Exploring ChatGPT prompt engineering method for automatic question generation in english education" (2023), Education and Information Technologies
- "Prompting large language models with chain-of-thought for few-shot knowledge base question generation"[URL]
- "Language Models are Few-Shot Learners"[URL]
- "Hierarchical text-conditional image generation with CLIP latents"[URL]
- GPT-4 technical report, "OpenAI", ~ (2023)
- "OpenAI developer platform"[URL]
- "Deep knowledge tracing"[URL]
- "Social Studies DOK Definitions" (2014)[URL]