본문 바로가기
KERD
논문KCI 등재

채점 자질 설계를 통한 지도 학습 기반 작문 자동 채점의 타당도 확보 방안 탐색

Exploring the Way to Obtain Validity of Supervised-Learning Based Automated Writing Scoring by Feature Engineering

김승주
청람어문교육학회 (Cheongram Korean Language Education Association)|2019.03|청람어문교육 (Journal of CheongRam Korean Language Education)|제69호|pp. 265-295|DOI 10.26589/jockle..69.201903.265

0

조회

0

다운로드

13

인용

0

참고문헌

키워드

validity타당도작문 자동 채점채점 자질자질 설계Automated Writing Scoring(AWS)scoring featurefeature engineering

초록

본 연구의 목적은 자동 채점을 위한 단계적 절차의 일부인 자질 설계 단계에 주목하여 자동 채점의 타당성을 확보하기 위한 자질 설계 방안을 탐색하는 것이다. 이에 먼저 작문 자동 채점 시스템의 현황과 자동 채점 모델 설계의 전 과정 속에서 채점 자질의 역할을 살펴보았으며, 다음으로는 채점 자질 설계의 문제로부터 기인한 작문 자동 채점의 타당성 논의로부터 작문 자동 채점에서의 채점 자질 설계를 재개념화하였다. 또한 마지막으로 채점 자질 설계 방안을 1)증거 중심 설계에 기반한 자질 설계, 2)작문 이론을 활용한 자질 설계, 3)전산 언어학의 텍스트 자질을 활용한 자질 설계 등의 세 가지 차원으로 제시하였다. 이러한 논의는 작문 자동 채점과 관련한 기초적인 연구를 촉진하고 관련 담론을 형성하는 데에 기여할 수 있다는 점에서 의의가 있다.

Abstract

The purpose of the study is to focusing on the feature engineering stage which is a part of the procedure for Automated Writing Scoring(AWS) and searching for the feature engineering method to secure the validity of AWS. For this purpose, the present status of the AWS and the whole process of designing the scoring model is examined to discuss the role of scoring features in the AWS. Next, validity problems of AWS which are derived from the inadequate feature engineering is discussed and the feature engineering in AWS is reconceptualized. Finally, the method of feature engineering is explored and presented in three dimensions, which are 1) feature engineering based on Evidence-Centered-Design(ECD) 2) feature engineering using writing theory 3) feature engineering using computational linguistics’ textual feature.

참고문헌 (44)

  1. 권태현, "해외 대입 작문 평가의 동향 및 시사점", 작문연구, (36), pp.53~82 (2018), 한국작문학회[DOI]
  2. 김승주, "텍스트 마이닝을 활용한 논증적 글쓰기 자동 채점 자질 추출 및타당화 연구", 석사, pp.2019
  3. 노은희, "국가수준 학업성취도 평가 국어 서답형 문항의 자동채점 결과 분석", 국어교육학연구, 49(2), pp.83~111 (2014), 국어교육학회[DOI]
  4. 민현식, "국어 정보화 교육 자료 개발과 활용 방안 연구", 국어교육연구, (27), pp.185~213 (2011), 국어교육연구소[DOI]
  5. 안의정, "학습자 작문 교육을 위한 텍스트의 구어성 측정 연구", 어문론총, (67), pp.39~65 (2016), 한국문학언어학회[DOI]
  6. 이상하, "국가수준 학업성취도 평가 서답형 문항에 대한 자동채점의 실용성 분석", 교육과정평가연구, 18(1), pp.185~208 (2015), 한국교육과정평가원
  7. 이슬기, "토픽 모델링에 따른 고등학생 논설문의 응결성과 응집성의 상관분석", 국어교육학연구, 52(3), pp.135~162 (2017), 국어교육학회[DOI]
  8. 이준호, "학술 텍스트에 나타난 한국어 헤지 표현 선정 연구", 이중언어학, (49), pp.269~297 (2012), 이중언어학회[DOI]
  9. 이지원, "쓰기 평가의 키워드 채점 방식에 대한 타당성 분석", 국어교육학연구, 49(2), pp.513~548 (2014), 국어교육학회[DOI]
  10. 장성민, "논증 기반 타당도 접근에 기반한 수능 작문 평가의 개선 방향 탐색", 국어교육학연구, 53(2), pp.227~257 (2018), 국어교육학회[DOI]
  11. 최숙기, "미국 SAT 작문 평가 문항 분석을 통한 대학수학능력시험 국어 영역의 작문 평가 개선 방안 탐색", 작문연구, (36), pp.107~144 (2018), 한국작문학회[DOI]
  12. Amorim, E., "Automated essay scoring in the presence of biased ratings", In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies, 1, pp.229~237 (2018)
  13. Construct validity of e‐rater® in scoring TOEFL® essays, "Attali, Y.", ETS, i-22~, pp.ETS Research Report Series, 2007(1) (2007)
  14. Attali, Y., "Handbook of automated essay evaluation: Current applications and new directions", pp.181~ (2013)
  15. Automated essay scoring with e-rater® v. 2.0, "Attali, Y.", ETS, i-21~, pp.ETS Research Report Series, 2004(2) (2004)
  16. Automated essay scoring with e‐rater® v. 2.0, "Attali, Y.", ETS, i-21~, pp.ETS Research Report Series, 2004(2) (2004)
  17. A developmental writing scale, "Attali, Y.", ETS, i-59~, pp.ETS Research Report Series, 2008(1) (2008)
  18. Brew, C., "Handbook of automated essay evaluation: Current applications and new directions", pp.136~ (2013)
  19. "Discover Feature Engineering, How to Engineer Features and How to Get Good at It" (2014)[URL]
  20. Chen, C. F. E., "Beyond the design of automated writing evaluation : Pedagogical practices and perceived learning effectiveness in EFL writing classes", Language Learning &Technology, 12(2), pp.94~112 (2008)
  21. Davis, J. J., "Automated feature engineering for HTTP tunnel detection", Computers & Security, 59, pp.166~185 (2016)
  22. Deane, P., "On the relation between automated essay scoring and modern views of the writing construct", Assessing Writing, 18(1), pp.7~24 (2013)
  23. Domingos, P. M., "A few useful things to know about machine learning", Commun. acm, 55(10), pp.78~87 (2012)
  24. Foltz, P. W., "Handbook of automated essay evaluation", pp.68~88 (2013)
  25. Freedman, S. W., "Research on writing: Principles and methods", pp.75~98 (1983)
  26. "Neglected machine learning ideas" (2014)[URL]
  27. McNamara, D. S., "A hierarchical classification approach to automated essay scoring", Assessing Writing, 23, pp.35~59 (2015)
  28. Mislevy, R. J., "Implications of evidence‐centered design for educational testing", Educational Measurement : Issues and Practice, 25(4), pp.6~20 (2006)
  29. "Machine Learning and AI via brain simulations" (2013)[URL]
  30. Pae, S. Y., "Computer and language assessment : Korean Computerized Language Analysis-1. 0", Communication Sciences & Disorders, 3(1), pp.123~138 (1998)
  31. Perelman, L., "When"the state of the art"is counting words", Assessing Writing, 21, pp.104~111 (2014)
  32. Perelman, L. C., "Critique of Mark D. Shermis &Ben Hammer, Contrasting state-of-the-art automated scoring of essays: Analysis", Journal of Writing Assessment, 6(1) (2013)
  33. Evaluating the construct‐coverage of the e‐rater® scoring engine, "Quinlan, T.", ETS, i-35~, pp.ETS Research Report Series, 2009(1) (2009)
  34. Ramineni, C., "Automated essay scoring: Psychometric guidelines and practices", Assessing Writing, 18(1), pp.25~39 (2013)
  35. "Understanding Feature Engineering (Part 1) — Continuous Numeric Data" (2018)[URL]
  36. Shermis, M. D., "Automated essay scoring: A cross-disciplinary perspective" (2003), Routledge
  37. Shermis, M. D., "Handbook of automated essay evaluation: Current applications and new directions", pp.313~ (2013)
  38. Taghipour, K., "A neural approach to automated essay scoring", In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp.1882~1891 (2016)
  39. Viola, P., "Robust real-time face detection", International journal of computer vision, 57(2), pp.137~154 (2004)
  40. Williamson, D. M., "A framework for evaluation and use of automated scoring", Educational measurement : issues and practice, 31(1), pp.2~13 (2012)
  41. "Facing a robo-grader? Just keep obfuscating mellifluously" (2012)[URL]
  42. Wolfe, E. W., "The relationship between essay reading style and scoring proficiency in a psychometric scoring system", Assessing Writing, 4(1), pp.83~106 (1997)
  43. Xi, X., "Automated scoring and feedback systems: Where are we and where are we heading?", Language Testing, 27(3), pp.291~300 (2010)
  44. Yi, B. J., "The effects of feature optimization on high-dimensional essay data", Mathematical Problems in Engineering, 2015 (2015)

관련 논문AI추천

채점자질을 활용한 인공지능 기반 글쓰기 자동채점 방안 탐색김길재, 박강윤, 박종임, 최숙기청람어문교육학회 · 청람어문교육2023 · 제96호AI 기반 KFL 작문 자동 채점 모델 설계 방향백재파우리말학회 · 우리말연구2023 · 제73호논증적 글쓰기 과제의 자동 채점을 위한 N-gram 자질의 활용 가능성 탐색김승주한국작문학회 · 작문연구2019 · 제41호임베딩 기법을 활용한 한국어 학습자 쓰기 자동채점을 위한 자질 연구이진언어정보연구원 · 언어사실과 관점2025 · 제64권 한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구남미정, 원미진언어정보연구원 · 언어사실과 관점2022 · 제57권 충분한 데이터 확보가 힘든 상황에서 인공지능 서･논술형 평가 채점모델 구축 방안박강윤, 이용상교육연구소 · 교육문화연구2022 · 제28권 제5호

이 간행물의 다른 논문 (12건)

연변 지역 조선족 중학생 읽기 효능감 구성 요인 연구전현미, 양홍pp. 7-40국어과에서 ‘빅 아이디어’의 의미와 역할 탐색서영진pp. 41-75질문 그리고 읽기 전략으로서의 국어 교과서 ‘날개’ 분석 -중학교 국어 교과서 읽기 단원을 중심으로-이재기pp. 77-114고등학생의 범교과 글쓰기 활동에 반영된 온라인 자료의 활용 체험 분석장성민pp. 115-157인지진단모형에 근거한 일반계 고등학생의 독해 능력 자기 평가 경향 탐색김태호pp. 159-194
원문 보기