과학 영재의 논문 초록 구조 분석 및 이에 대한 인공지능의 활용 가능성 탐색
Analysis of the Abstract Structure in Scientific Papers by Gifted Students and Exploring the Possibilities of Artificial Intelligence Applied to the Educational Setting
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 영재학교 학생들의 논문 초록의 구조를 파악하여 그특성을 분석하고, 인공지능을 활용하여 초록을 구성하는 여러 요소를추출하여 그 성능을 비교함으로써 과학영재교육에서 인공지능의 활용 가능성을 모색하는 것을 목적으로 하였다. 이에 따라 S 영재학교의2017∼2021년의 5년간 졸업 논문 263건을 대상으로 초록에 포함된배경, 목적, 방법, 결과, 논의의 빈도나 유형이 어떠한지 분석하고 이를 파인튜닝 및 프롬프트를 활용한 인공지능을 활용한 분류 방법을통해 그 정확도를 평가하였다. 연구 결과, 영재 학생들이 작성한 과학논문의 초록 요소의 출현 빈도는 목적, 방법, 결과, 배경, 논의(D)의순이었고, 목적, 방법, 결과 등 초록에서 필수적으로 포함되어야 하는요소를 모두 담은 경우는 전체 57.4%에 불과하였다. 인공지능을 활용한 이러한 요소를 분류한 결과, 파인튜닝을 이용한 경우가 가장 정확도가 높았으며 5가지 요소 중 배경, 목적, 결과는 비교적 높은 성능을보였으나 방법, 논의에 대해서는 정확히 분류하지 못하는 경우가 많았다. 이러한 결과는 여러 요소의 분포 비율이나 학습을 위한 적절한데이터셋이나 정보를 제공해 인공지능을 활용해야 보다 효과적인 수단으로 활용될 수 있음을 의미하며, 이에 대한 교육적 시사점을 제시하였다.
Abstract
This study aimed to explore the potential use of artificial intelligence in science education for gifted students by analyzing the structure of abstracts written by students at a gifted science academy and comparing the performance of various elements extracted using AI. The study involved an analysis of 263 graduation theses from S Science High School over five years (2017-2021), focusing on the frequency and types of background, objectives, methods, results, and discussions included in their abstracts. This was followed by an evaluation of their accuracy using AI classification methods with fine-tuning and prompts. The results revealed that the frequency of elements in the abstracts written by gifted students followed the order of objectives, methods, results, background, and discussions. However, only 57.4% of the abstracts contained all the essential elements, such as objectives, methods, and results. Among these elements, fine-tuned AI classification showed the highest accuracy, with background, objectives, and results demonstrating relatively high performance, while methods and discussions were often inaccurately classified. These findings suggest the need for a more effective use of AI, through providing a better distribution of elements or appropriate datasets for training. Educational implications of these findings were also discussed.
참고문헌 (28)
- Bazerman, C., "From cultural criticism to disciplinary participation: Living with powerful words", Writing, teaching, and learning in the disciplines, pp.61~68 (1992)
- "The document vectors using cosine similarity revisited" (2022)[URL]
- Can, S., "Structure of Moves in Research Article Abstracts in Applied Linguistics", Publications, 4(3), pp.23~ (2016)[DOI]
- 장우권, "초록의 구조와 내용에 관한 연구: 정보관리학회지를 중심으로", 정보관리학회지, 33(3), pp.107~131 (2016), 한국정보관리학회[DOI]
- 정호진, "공학계열 학생 대상 논문 초록 작성법 교육 방안", 교육문화연구, 25(3), pp.411~427 (2019), 교육연구소[DOI]
- "BERT: Pre-training of deep bidirectional transformers for language understanding" (2018)[URL]
- Geloebiowski, Z., "Prominent Messages in Education and Applied Linguistics Abstracts : How Do Authors Appeal to their Prospective Readers", Journal of Pragmatics, 41, pp.753~769 (2009)
- Jescovitch, L. N., "Comparison of machine learning performance using analytic and holistic coding approaches across constructed response assessments aligned to a science learning progression", Journal of Science Education and Technology, 30, pp.150~167 (2020)
- 조헌국, "미래 교육 및 미래 학교의 전망을 통한 과학교육의 방향과 과제", 교과교육학연구, 25(1), pp.61~78 (2021), 교과교육연구소[DOI]
- 조헌국, "텍스트 기반 생성형 인공지능의 이해와 과학교육에서의 활용에 대한 논의", 한국과학교육학회지, 43(3), pp.307~319 (2023), 한국과학교육학회
- 조헌국, "머신러닝을 활용한 영재 학생들의 졸업논문 주제 경향 분석", 과학영재교육, 14(1), pp.13~22 (2022), 한국과학영재교육학회
- 조광희, "과학영재학생의 논문에 나타난 서론 서술의 특징", 과학영재교육, 12(2), pp.127~136 (2020), 한국과학영재교육학회[DOI]
- 조광희, "과학영재학생의 논문에 나타난 결론부 서술의 특징 분석", 과학영재교육, 13(3), pp.172~185 (2021), 한국과학영재교육학회
- Kaufman, J. C., "Do gifted student writers and creative writing experts rate creativity the same way", Gifted Child Quarterly, 49(3), pp.260~265 (2005)
- Keys, C. W., "Revitalizing instruction in scientific genres : Connecting knowledge production with writing to learn in science", Science Education, 83(2), pp.115~130 (1999)
- 김덕영, "학생의 열린 과학 탐구 보고서 작성을 돕기 위한 점검표 개발", 한국과학교육학회지, 35(6), pp.1075~1083 (2015), 한국과학교육학회[DOI]
- 김진웅, "한국어교육 분야 국문초록의 이동마디 구성 분석 - 한국인과 외국인 전문필자의 비교를 중심으로", 리터러시 연구, 10(2), pp.377~400 (2019), 한국 리터러시 학회[DOI]
- 이혜정, "대학생들의 과학 논문 작성 능력에 대한 연구", 생물교육, 38(4), pp.599~610 (2010), 한국생물교육학회[DOI]
- Lin, Chin-Yew., "ROUGE: A package for automatic evaluation of summaries", Paper presented. In Text summarization branches out. Paper presented at the 42nd Annual Meeting of the Association for Computational Linguistics, pp.21~26 (2004)
- Mitrović, S., "Summarizing citation contexts of scientific publications", Paper presented at the International Conference of the Cross-Language Evaluation Forum for European Languages (2015)
- 문현우, "과학영재 학생과 일반 고등학생의 과학 논문 특징 비교", 과학영재교육, 15(2), pp.269~278 (2023), 한국과학영재교육학회
- 문지영, "고등학생의 과학 연구보고서 제목 작성에서 나타나는 오류 분석", 학습자중심교과교육연구, 20(8), pp.453~471 (2020), 학습자중심교과교육학회[DOI]
- A Study on the Mid to Long Term Development Plan for Gifted Science Academy and Science High School, "Shim, K.", Korean Educational Development Institute, ~, pp.CR 2021-24 (2021)
- 손정우, "과학글쓰기를 통한 과학영재학생들의 과학적 사고력과창의적 문제해결력 연구", 과학영재교육, 1(3), pp.21~32 (2009), 한국과학영재교육학회
- 송진웅, "미래세대를 위한 ‘과학교육표준’의 주요 내용과 특징", 한국과학교육학회지, 39(3), pp.465~478 (2019), 한국과학교육학회[DOI]
- Weil, B. H., "Standards for writing abstracts", Journal of the American Society for Information Science, 21(5), pp.351~357 (1970)
- Christopher D. Wilson, "Using automated analysis to assess middle school students' competence with scientific argumentation", Journal of Research in Science Teaching, 61(1), pp.38~69 (2023), Wiley[DOI]
- Zhai, X., "Assessing argumentation using machine learning and cognitive diagnostic modeling", Research in Science Education, 53, pp.405~424 (2023)