본문 바로가기
KERD
논문KCI 등재

모바일 플랫폼 교육 콘텐츠 지원을 위한 손 글씨 기반 텍스트 인터페이스 설계

Design of Handwriting-based Text Interface for Support of Mobile Platform Education Contents

조세홍|김진모|조윤식
(사)한국컴퓨터그래픽스학회 (Korea Computer Graphics Society)|2021.12|한국컴퓨터그래픽스학회논문지 (Journal of the Korea Computer Graphics Society)|제27권 제5호|pp. 81-89|DOI 10.15701/kcgs.2021.27.5.81

1

조회

0

다운로드

3

인용

0

참고문헌

키워드

모바일CNNdeep learning딥 러닝mobile텍스트 인터페이스EMNIST영어 교육 콘텐츠text interfaceEnglish education contents

초록

본 연구는 모바일 플랫폼 환경에서 언어 기반의 교육 콘텐츠 지원을 위한 텍스트 인터페이스를 제안한다. 이는 손 글씨를통해 단어를 작성하는 입력 구조로 딥 러닝을 활용한다. 모바일 플랫폼 콘텐츠의 버튼, 메뉴 등을 활용한 GUI (Graphical User Interface)와 화면 터치, 클릭, 드래그 등의 입력 방식을 기반으로 손 글씨를 사용자로부터 직접 입력하여 처리할 수 있는텍스트 인터페이스를 설계한다. 이는 EMNIST (Extended Modified National Institute of Standards and Technology database) 데이터 셋과 훈련된 CNN (Convolutional Neural Network)을 사용하여 알파벳 텍스트를 분류하고 조합하여 단어를 완성한다. 최종적으로 영어 단어 교육 콘텐츠를 직접 제작하여 제안하는 인터페이스의 학습 지원 효과를 분석하고 만족도를 비교하기위한 실험을 진행한다. 동일한 교육 환경에서 기존의 키 패드 방식의 인터페이스와 제안하는 손 글씨 기반 텍스트 인터페이스를 서로 체험한 사용자들이 제시하는 영어 단어를 학습하는 능력을 비교하고, 인터페이스를 조작하여 단어를 작성하는과정에서의 전체적인 만족도를 분석, 확인하도록 한다.

Abstract

This study proposes a text interface for support of language-based educational contents in a mobile platform environment. The proposed interface utilizes deep learning as an input structure to write words through handwriting. Based on GUI (Graphical User Interface) using buttons and menus of mobile platform contents and input methods such as screen touch, click, and drag, we design a text interface that can directly input and process handwriting from the user. It uses the EMNIST (Extended Modified National Institute of Standards and Technology database) dataset and a trained CNN (Convolutional Neural Network) to classify and combine alphabetic texts to complete words. Finally, we conduct experiments to analyze the learning support effect of the interface proposed by directly producing English word education contents and to compare satisfaction. We compared the ability to learn English words presented by users who have experienced the existing keypad-type interface and the proposed handwritingbased text interface in the same educational environment, and we analyzed the overall satisfaction in the process of writing words by manipulating the interface.

참고문헌 (34)

  1. T. Sweeney, "Foundational principles & technologies for the metaverse", ACM SIGGRAPH 2019 Talks, ser. SIGGRAPH ’19 (2019), Association for Computing Machinery
  2. Andries van Dam, "Post-WIMP user interfaces", Communications of the ACM, 40(2), pp.63~67 (1997), Association for Computing Machinery (ACM)[DOI]
  3. H.-Y. Huang, "Haptic-go-round: A surrounding platform for encounter-type haptics in virtual reality experiences", Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, ser. CHI ’20, pp.1~10 (2020), Association for Computing Machinery
  4. Shneiderman, "Direct manipulation : A step beyond programming languages", Computer, 16(8), pp.57~69 (1983)
  5. 성재훈, "손 제스처 상호작용을 통한 립모션 기반 윷놀이 게임", 한국차세대컴퓨팅학회 논문지, 13(1), pp.74~81 (2017), 한국차세대컴퓨팅학회
  6. 송복득, "사용자 모션 인식 기반 키오스크 전용 인터랙티브 미디어 플레이어 개발", 한국콘텐츠학회 논문지, 19(11), pp.270~277 (2019), 한국콘텐츠학회[DOI]
  7. 김종현, "모바일 디바이스에서 사용자의 입 바람을 이용한 연기 시뮬레이션의 상호작용 방법", 한국컴퓨터그래픽스학회논문지, 24(4), pp.21~27 (2018), (사)한국컴퓨터그래픽스학회[DOI]
  8. 홍승현, "모바일 가상현실에서의 이동 인터페이스에 관한 연구", 한국컴퓨터그래픽스학회논문지, 27(3), pp.55~63 (2021), (사)한국컴퓨터그래픽스학회[DOI]
  9. Y. Cho, "X-person asymmetric interaction in virtual and augmented realities", Computer Animation and Virtual Worlds, 32(5), pp.e1985~ (1985)
  10. Y. Cho, "Production of mobile english language teaching application based on text interface using deep learning", Electronics, 10(15), pp.2021~ (1809)
  11. T. Kang, "Deephandsvr : Hand interface using deep learning in immersive virtual reality", Electronics, 9(11), pp.2020~ (1863)
  12. R. Jayakanthan, "Application of computer games in the field of education", Electronic Library, 20(2), pp.98~102 (2002)
  13. V. S. Zirawaga, "Gaming in education : Using games as a support tool to teach history", Journal of Education and Practice, 8(15), pp.55~64 (2017)
  14. 2020년 국외 디지털콘텐츠 시장조사 및 동향 심층분석, "남현숙", 소프트웨어정책연구소, 1~378, pp.RE-107 (2021)
  15. Y. Chen, "Application of augmented reality for early childhood english teaching", 2017International Symposium on Educational Technology (ISET), pp.111~115 (2017)
  16. Min Fan, "Augmented Reality for Early Language Learning: A Systematic Review of Augmented Reality Application Design, Instructional Strategies, and Evaluation Outcomes", Journal of Educational Computing Research, 58(6), pp.1059~1100 (2020), SAGE Publications[DOI]
  17. M. Lu, "Effectiveness of vocabulary learning via mobile phone", Journal of Computer Assisted Learning, 24(6), pp.515~525 (2008)
  18. 전주성, "영어단어학습용 온라인 교육게임이 학습자의 영어단어학습에 대한 태도, 자아효능감, 전략, 성취도에 미치는 영향에 관한 연구", 교육과학연구, 39(1), pp.85~105 (2008), 교육과학연구소
  19. D. Aminatun, "Memrise : Promoting students’ autonomous learning skill through language learning application", Metathesis : Journal of English Language, Literature, and Teaching, 3(2), pp.214~223 (2019)
  20. S. E. Lindley, "Stirring up experience through movement in game play : Effects on engagement and social behaviour", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, ser. CHI ’08, pp.511~514 (2008)
  21. K. V. Nesbitt, "Multi-sensory game interface improves player satisfaction but not performance", Proceedings of the Ninth Conference on Australasian User Interface, 76, pp.13~18 (2008), Australian Computer Society, Inc
  22. N. Sidorakis, "Binocular eyetracking for the control of a 3d immersive multimedia user interface", 2015 IEEE 1st Workshop on Everyday Virtual Reality (WEVR), pp.15~18 (2015)
  23. 김민규, "모바일 가상현실 환경에서의 시선기반 사용자 인터페이스 상호 작용에 관한 연구", 한국컴퓨터그래픽스학회논문지, 23(3), pp.39~46 (2017), (사)한국컴퓨터그래픽스학회[DOI]
  24. I. Choi, "Claw:A multifunctional handheld haptic controller for grasping, touching, and triggering in virtual reality", Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, ser. CHI ’18, pp.1~13 (2018), ACM
  25. 김진모, "몰입형 가상현실에서 손 기반 인터페이스의 비교 실험에 관한 연구", 한국컴퓨터그래픽스학회논문지, 25(2), pp.1~9 (2019), (사)한국컴퓨터그래픽스학회[DOI]
  26. M. Kim, "Grasping vr : Presence of pseudo-haptic interface based portable hand grip system in immersive virtual reality", International Journal of Human–Computer Interaction, 36(7), pp.685~698 (2020)
  27. J. Kim, "Presence of immersive interaction for visual impairment virtual reality", IEEE Access, 8, pp.151~159 (2020)
  28. S. Yang, "Application of brain neural network in personalized english education system", International Journal of Emerging Technologies in Learning(iJET), 13(10), pp.15~22 (2018)
  29. G. Cohen, "Emnist:Extending mnist to handwritten letters", 2017 International Joint Conference on Neural Networks (IJCNN), pp.2921~2926 (2017)
  30. A. Baldominos, "A survey of handwritten character recognition with mnist and emnist", Applied Sciences, 9(15) (2019)
  31. S. S. Mor, "Handwritten text recognition : With deep learning and android", International Journal of Engineering and Advanced Technology (IJEAT), 8(3S), pp.819~825 (2019)
  32. "Unity engine" (2019)[URL]
  33. "Tensorflow" (2021)[URL]
  34. A. Lund, "Measuring usability with the use questionnaire", Usability Interface, 8(2), pp.3~6 (2001)

관련 논문AI추천

학습데이터 유형에 따른 CNN기반 한글 손글씨 인식 모델 성능 비교조영복한국실천공학교육학회 · 실천공학교육논문지2025 · 제17권 제4호안면 인식 기반의 한국어 입력 인터페이스를 통한 효율적인 모바일 필기 시스템김종현한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2020 · 제25권 제6호터치 기반 기기에서 노트 생성 인터페이스의 디자인 및 구현허경, 김재경, 손원성한국창의정보문화학회 · 창의정보문화연구2015 · 제1권 제1호인공지능 기반 MNIST 손글씨 인식에 대한 연구김근희, 김세호, 김종배, 이승인, 한미란한국IT정책경영학회 · 한국IT정책경영학회 논문지2019 · 제11권 제6호모바일 기반 Air Writing을 위한 객체 탐지 및 광학 문자 인식 방법고영진, 김태영, 김태일한국차세대컴퓨팅학회 · 한국차세대컴퓨팅학회 논문지2019 · 제15권 제5호한글 손글씨를 활용한 초등 인공지능 교육 프로그램 개발 및 적용김봄솔, 김종훈, 배성현한국정보교육학회 · 정보교육학회논문지2025 · 제29권 제2호

이 간행물의 다른 논문 (8건)

삼각형 메쉬로 이루어진 3D 모델의 변형을 위한 IK 계산 가속화권태수, 강다은, 박현아pp. 1-11스마트 스피커와 요리하기: 음성기반 레시피 제공 서비스의 사용자 경험정혜선, 정구민pp. 13-23직접 볼륨 렌더링을 위한 CNN 기반 TF 색상 매핑김석연, 장윤pp. 25-32변형 자동 인코더를 활용한 모션 스타일 이전권태수, 안제원pp. 33-43비지도 학습 기반 영상 노이즈 제거 기술을 위한 정규화 기법의 최적화이강근, 정원기pp. 45-54
원문 보기