본문 바로가기
KERD
논문KCI 등재

한국수어의 단어 재인 과정에서 나타나는 사람 및 아바타 수어 영상에 대한 정보처리 양상 비교 연구

A Comparative Study on Information Processing of Human and Avatar Sign Words during Korean Sign Language Word Recognition

김태욱|최원일|백현아|이은찬
한국장애인개발원 (Korea Disabled People's Development Institute)|2023.12|장애인복지연구 (Disability & Social Welfare)|제14권 제2호|pp. 186-209|DOI 10.36064/koddi.2023.14.2.007

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

어휘판단과제단어재인Korean Sign LanguageLexical decision task한국수어Word recognition수어 아바타Sign language avatar

초록

본 연구의 목적은 한국 농인들이 한국수어 단어를 처리할 때 한국수어 정보처리 양상을 탐색해보고, 사람의 수어와 아바타의 수어를 처리하는 과정에서 차이가 있는가를 알아보는 것이다. 이를 위해 사람의 수어 영상은 녹화본을 사용하였고, 아바타의 수어 영상은 마야(MAYA) 및 유니티(Unity) 소프트웨어를 통해 제작하였다. 본 실험에 사용된 수어 자극은 각각 단어 50개, 비단어 50개로 이루어졌다. 실험에 참여한 농인 42명은 수어 영상을 보고 단어인지 비단어인지 최대한 빠르고 정확하게 판단해야 하는 수어 어휘판단과제를 실시하였다. 실험 결과 농인들은 아바타의 수어보다 사람의 수어에 더 짧은 반응시간을 보였다. 또한, 농인들은 수어를 구사하는 주체에 따라 서로 다른 반응기준을 가지고 응답하였는데, 사람의 수어 조건에서는 모험 편향을 나타내었으나 아바타의 수어 조건에서는 보수 편향을 나타내었다. 이러한 결과는 농인들이 아바타가 구사하는 수어보다 사람이 구사하는 수어를 볼 때 더 정확하고 빠르게 어휘성을 판단함을 나타내며, 농인들이 아바타가 구사하는 수어를 처리할 때 인지적인 부담을 느낌을 시사한다.

Abstract

The purpose of this study is to investigate how deaf signers of Korean Sign Language (KSL) process KSL words and whether there are differences in processing between human-generated sign language and avatar-generated sign language. To compare the two processes, human sign videos were created by recording a sign language interpreter expressing KSL words, while avatar sign videos were created with the Maya and the Unity software. The sign language stimuli used in the experiment consisted of 50 words and 50 nonwords. Forty-two deaf signers took part in a sign language lexical decision task, where they were asked to watch sign language videos and determine whether the stimuli were words or nonwords as fast and accurately as they can. The results showed that the signers responded more quickly to human sign videos than to avatar sign videos. Furthermore, the participants responded with different criteria depending on the conditions: they showed a liberal bias in the human sign condition, while they exhibited a more conservative bias in the avatar sign condition. These findings indicate that the singers were able to process information from human sign videos more accurately and rapidly than the same information from avatar sign videos. Additionally, our results support that signers tend to experience cognitive burden when processing words signed by an avatar.

참고문헌 (39)

  1. 金承國, "韓國 手話의 心理言語學的 硏究", 박사, 심리학, pp.1983
  2. 박아름, "수어아바타의 생성에 대한 수어를 제1언어로 사용하는 농인의 자문화기술지", 석사, pp.2020
  3. 백현아, "한국수어 사용 농인의 문화재 설명문 이해도에 관한 탐색적 연구", 장애인복지연구, 12(2), pp.175~192 (2021), 한국장애인개발원[DOI]
  4. 백현아, "한국수어 사용자를 위한 수어 해설 애플리케이션의 효과: 공공 박물관 전시 사례 연구", 한국콘텐츠학회 논문지, 23(3), pp.614~623 (2023), 한국콘텐츠학회[DOI]
  5. 이인구, "수어 번역 기술 현황과 사례로 보는 청각장애인의 접근성 향상", 정보과학회지, 40(10), pp.14~21 (2022)
  6. 이준우, "한국수어 연구의 방향과 제언", 한국장애인복지학, 40(40), pp.57~90 (2018), 한국장애인복지학회[DOI]
  7. 이한규, "아바타수어 서비스를 위한 한국수어 스크립트 기술", 한국방송⋅미디어공학회, pp.334~336 (2020)
  8. 최상배, "농학생과 가청학생의 단어재인 과정 비교 연구", 특수교육학연구, 42(2), pp.69~90 (2007), 한국특수교육학회
  9. 최지훈, "아바타 수어 서비스를 위한 한국어-한국수어 변환 기술 연구", pp.337~338 (2020), 한국방송⋅미디어공학회
  10. Aitchison, J., "Words in the mind : An introduction to the mental lexicon" (2012), John Wiley & Sons, Inc
  11. Altmann, G., "말하는 뇌: 언어커뮤니케이션의 비밀" (2005), 역락
  12. Baowidan, S., "Improving realism in automated fingerspelling of American sign language", Machine Translation, 35(3), pp.387~404 (2021)[DOI]
  13. Bates, D., "Fitting linear mixed-effects models using lme4", Journal of Statistical Software, 67(1), pp.1~48 (2014)[DOI]
  14. Baus, C., "Lexical access in Catalan signed language(LSC)production", Cognition, 108(3), pp.856~865 (2008)[DOI]
  15. Baus, C., "The role of syllables in sign language production", Frontiers in Psychology, 5 (2014)[DOI]
  16. Bosworth, R., "Semantic priming in American sign language. Unpublished manuscript", The Salk Institute for Biological Studies, ~ (1999)
  17. Danielle Bragg, "Sign Language Recognition, Generation, and Translation", The 21st International ACM SIGACCESS Conference on Computers and Accessibility, pp.16~31 (2019), ACM
  18. Caliwag, A., "Korean sign language translation sing machine learning", 2018 Tenth International Conference on Ubiquitous and Future Networks (ICUFN), pp.826~828 (2018)
  19. Carreiras, M., "Sign language processing", Language and Linguistics Compass, 4(7), pp.430~444 (2010)[DOI]
  20. Cheetham, M., "The human likeness dimension of the"Uncanny valley hypothesis" : Behavioral and functional MRI findings", Frontiers in Human Neuroscience, 5 (2011)[DOI]
  21. Dean, R., "Application of demand-control theory to sign language interpreting : Implications for stress and interpreter training", The Journal of Deaf Studies and Deaf Education, 6(1), pp.1~14 (2001)[DOI]
  22. Emmorey, K., "Repetition priming with aspect and agreement morphology in American sign language", Journal of Psycholinguistic Research, 20(5), pp.365~388 (1991)[DOI]
  23. Emmorey, K., "Hemispheric specialization for ASL signs and english words : Differences between imageable and abstract forms", Neuropsychologia, 31(7), pp.645~653 (1993)[DOI]
  24. Emmorey, K., "Lexical recognition in sign language: Effects of phonetic structure and morphology", Perceptual and Motor Skills, 71(3_suppl), pp.1227~1252 (1990)[DOI]
  25. Emmorey, K., "Neural systems underlying spatial language in American sign language", NeuroImage, 17(2), pp.812~824 (2002)[DOI]
  26. Forster, K., "Lexical access and naming time", Journal of Verbal Learning and Verbal Behavior, 12(6), pp.627~635 (1973)[DOI]
  27. Heller, B., "Sign language interpreter stress: An exploratory study", Proceedings of The 1985Convention of The American Deafness and Rehabilitation Association, pp.120~ (1985)
  28. Hommes, R. E., "American sign language interpreters perceptions of barriers to healthcare communication in deaf and hard of hearing patients", Journal of Community Health, 43(5), pp.956~961 (2018)[DOI]
  29. Hernisa Kacorri, "Demographic and Experiential Factors Influencing Acceptance of Sign Language Animation by Deaf Users", Proceedings of the 17th International ACM SIGACCESS Conference on Computers & Accessibility - ASSETS '15 (2015), ACM Press
  30. Kim, J., "A dynamic gesture recognition system for the Korean sign language (KSL)", IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 26(2), pp.354~359 (1996)[DOI]
  31. Kipp, M., "Sign language avatars : Animation and comprehensibility", Intelligent Virtual Agents, 6895, pp.113~126 (2011)[DOI]
  32. Koulierakis, I., "Sign boundary and hand articulation feature recognition in sign language videos", Machine Translation, 35(3), pp.323~343 (2021)[DOI]
  33. Luft, P., "Communication barriers for deaf employees : Needs assessment and problem-solving strategies", Work, 14(1), pp.51~59 (2000)
  34. Macmillan, C., "Detection theory : A user’s guide" (1991), Cambridge University Press
  35. "IEEE Robotics & Automation Magazine", 2012, 98~100, https:
  36. Quandt, L., "Attitudes toward signing avatars vary depending on hearing status, age of signed language acquisition, and avatar type", Frontiers in Psychology, 13 (2022)[DOI]
  37. The National Association of the Deaf, "NAD-RID Code of professional conduct", The Registry of Interpreters for the Deaf, Inc, 1~7 (2005)
  38. "Pipeline to calculate D-prime in R" (2021)[URL]
  39. Wolfe, R., "Special issue : Sign language translation and avatar technology", Machine Translation, 35(3), pp.301~304 (2021)[DOI]

관련 논문AI추천

남⋅북한수어 지문자의 직관적 인식과 표현 용이성고은지, 최상배한국특수교육문제연구소 · 특수교육저널:이론과 실천2022 · 제23권 제1호3D 아바타의 자연스러운 수화 동작 표현 방법김대진, 박광현, 변증남, 오영준, 장효영, 정진우한국정보처리학회 · 정보처리학회 논문지2007 · 제14권 제2호한국 수화의 도상성에 따른 TOF 현상신홍임한국인지및생물심리학회 · 한국심리학회지: 인지 및 생물2019 · 제31권 제2호청인과 청각장애학생의 수화어휘 이해력 분석을 통한 수화언어 특성허명진한국청각언어장애교육학회 · 한국청각언어장애교육연구2014 · 제5권 제2호한국수어 사용 농인의 문화재 설명문 이해도에 관한 탐색적 연구김지용, 김태욱, 백현아, 최원일한국장애인개발원 · 장애인복지연구2021 · 제12권 제2호Challenges in Deep Learning-Based Analysis of Korean Sign Language: Through the Lens of American Sign Language Research이용훈사단법인 한국언어학회 · 언어학2025 · 제33권 제2호

이 간행물의 다른 논문 (9건)

경계선지능 학생 지원 교육청 조례 비교 연구민기채pp. 1-36뮤지컬 분야 발달장애인의 직무에 관한 사례연구: 운영관계자 및 발달장애인 심층 인터뷰를 중심으로문채영, 정은주, 유수진pp. 37-64성인 발달장애 자녀를 둔 중고령 어머니의 사회참여경험에 관한 질적 사례연구홍초롱, 황영현pp. 65-97영상 미디어에서의 장애에 대한 상품화와 인권문제: 영웅적 장애인 재현을 중심으로나대웅pp. 98-123정신장애인을 위한 실천가의 강점기반실천경험에 대한 연구 -개념도 연구방법을 중심으로-정숙희, 강현정, 이연진, 정다은, 하명은pp. 124-155
원문 보기