Hand Landmark를 이용한 한글 지문자 인식
Korean Finger Spelling Recognition Using Hand Landmarks
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
수어는 음성이 아닌 시각적 제스처(Gesture)를 매체로 의미를 전달한다. 시각적인 제스처를 이용하여 의미를 주고받기 어려운 단어나 고유명사를 전달하기 위해서는 손과 손가락의 모양으로 한글의 자음과 모음을 표현한 지문자가 주로 사용된다. 본 연구에서는 MediaPipe Hands API를 이용하여 손 이미지로부터 Landmark를 추출하고 scikit-learn SVM(Support Vector Machine)을 이용하여 31개의 한글 지문자에 대한 학습 모델을 생성한다. ‘ㄲ’과 같은 지문자는 ‘ㄱ’에 대한 지문자가 오른쪽으로 이동하는 제스처로 표현되는데, 제안한 방법에서는 ‘ㄱ’ 무게 중심이 이동하는 것을 검출하여 ‘ㄲ’을 인식할 수 있다. 기존의 연구에서는 특정 수어 문장 또는 특정 지문자를 제한적으로 인식하는 연구가 주를 이루고 있지만, 제안한 방법에서는 한글 지문자를 구성하는 36개의 지문자를 인식할 수 있기 때문에 청각장애인들의 지문자 학습, 수어 번역 등을 위해 유용하게 이용될 수 있을 것으로 기대된다.
Abstract
Sign Language are languages that use a visual means of communicating using gestures and facial expression. Finger spelling uses hand movements and shapes to spell out the proper nouns or words, which are difficult to be represented. In this study, Korean finger spelling recognition system is proposed. Landmarks are extracted from hand images by utilizing MediaPipe Hands API. Also SVM(Support Vector Machine) of scikit-learn is used to train 31 Korean finger spellings. Finger spelling such as a double consonant ‘ㄲ’ is represented by moving ‘ㄱ’ in the right direction. The proposed method recognized ‘ㄲ’ by detecting the movement of the bounding box centroid for finger spelling. Most of the previous methods are not able to recognize all the finger spellings for Korean sign language, but the proposed technique can do all 36 Korean finger spellings. Also, it is expected that our methods are utilized in finger spelling learning or sign language translation for hearing-impaired persons.
참고문헌 (33)
- 한국수어사용실태조사연구, "이대섭", 국립국어원, ~ (2017)
- 이찬수, "지문자를 포함한 연속된 한글수화의 실시간 인식 시스템 구현", 전자공학회논문지, 35, pp.464~475 (1998)
- 고은지, "남북한 수어 지문자의 직관적 인식과 표현 용이성 분석", 석사, 특수교육과, pp.2021
- 김태화, "데이터 글러브를 이용한 지화 인식 시스템 설계", 제어로봇시스템학회 추계합동학술대회 논문집, 65(70), pp.65~70 (2004)
- 오상혁, "데이터 글로브를 이용한 인터랙티브 한글 지화 교육", 한국멀티미디어학회 학술발표논문집, pp.733~736 (2007)
- 임은주, "동작인식 기반의한글 지화 번역 글러브", 한국방송미디어공학회 추계학술발표대회 논문집, pp.42~42 (2018)
- 김태희, "한국재활복지공학회 정기학술대회 논문집", 한국재활복지공학회 정기학술대회 논문집, pp.17~18 (2018)
- 김종만, "특성벡터에 따른 근전도 기반 지화 인식 시스템의 정확도", 한국정밀공학회 추계학술발표대회 논문집, pp.146~156 (2017)
- 박종준, "표면근전도 신호를 활용한 CNN 기반 한국 지화숫자 인식을 위한 아래팔 근육과 전극 위치에 관한 연구", 한국산학기술학회논문지, 19(8), pp.260~267 (2018), 한국산학기술학회[DOI]
- 문성필, "양안 이미지를 사용하는 실시간 심층 합성곱 신경망 지화 인식 방법", 한국HCI학회 PROCEEDINGS OF HCI KOREA 2017 학술대회 발표 논문집, pp.721~724 (2017)
- 박정민, "청각장애인의 실시간 한글 지화 번역을 위한 실시간 영상과 데이터 분석", 한국컴퓨터교육학회 하계 학술발표논문집, 24(2A), pp.251~254 (2020)
- 이한규, "아바타수어 서비스를 위한 한국수어 스크립트 기술", 한국방송·미디어공학회 학술발표대회 논문집 하계학술대회, pp.334~336 (2020)
- 최지훈, "아바타 수어 서비스를 위한한국어-한국수어 변환 기술 연구", 한국방송미디어공학회 학술발표대회 논문집 하계학술대회, pp.337~338 (2020)
- 김윤기, "청각장애인을 위한 UNet-LSTM 기반의 자동 음성-수어 번역 모델", 한국정보과학회 학술발표논문집 한국컴퓨터종합학술대회, pp.709~711 (2019)
- 신기철, "다중 매체를 기반으로 한 한국 수어번역 프레임워크", 한국정보과학회 학술발표논문집한국컴퓨터종합학술대회, pp.374~376 (2019)
- 강소희, "신경망을 이용한 한국수어 번역 알고리즘 구현", 대한전자공학회 추계학술대회, pp.765~768 (2018)
- 박한무, "공항 내 시설 안내 서비스를 위한 마커리스 한국 수어 인식 기술", 한국방송미디어공학회학술발표대회 논문집 하계학술대회, pp.354~356 (2020)
- 김다연, "OpenPose와CNN 기반 수어 영상 번역 서비스 개발", 한국콘텐츠학회 종합학술대회 논문집, pp.393~394 (2021)
- 김현구, "KINECT 를 이용한 지문자 인식 시스템 디자인", 한국엔터테인먼트산업학회 학술대회 논문집 춘계학술대회, pp.95~100 (2012)
- 이도겸, "무게중심을 이용한 한글 지문자 인식 알고리듬에 관한 연구", 석사, 정보통신공학, pp.2009
- 김진영, "청각장애인의 수어 교육을 위한 MediaPipe 활용 수어 학습 보조 시스템 개발", 한국전자통신학회 논문지, 16(6), pp.1355~1362 (2021), 한국전자통신학회
- 신기철, "다중 매체를 기반으로 한 한국 수어번역 프레임워크", 한국정보과학회 학술발표논문집한국컴퓨터종합학술대회 논문집, pp.374~376 (2019)
- 민승기, "한글 지화 인식에 최적화된 데이터 글러브 시스템", 한국정보과학회 학술발표논문집, pp.237~241 (2007)
- 김설호, "ToF 깊이영상과 벡터내적을 이용한 손 모양 인식", 한국차세대컴퓨팅학회 논문지, 12(4), pp.89~101 (2016), 한국차세대컴퓨팅학회
- 남주영, "인터랙티브 미디어 작품제작을 위한 Leap motion과 모션 디텍션 활용 연구 : 멀티미디어음악작품 〈갇히다〉를 중심으로", 석사, 멀티미디어학과 컴퓨터음악전공, pp.2014
- 성재훈, "손 제스처 상호작용을 통한 립모션 기반 윷놀이 게임", 한국차세대컴퓨팅학회 논문지, 13(1), pp.74~81 (2017), 한국차세대컴퓨팅학회
- 정필성, "라즈베리 파이와 립 모션을 이용한 지화 번역 시스템 설계 및 구현", 한국정보통신학회논문지, 19(9), pp.2006~2013 (2015), 한국정보통신학회[DOI]
- 이세훈, "OpenCV와 Android를 이용한 피아노 연습 어플리케이션 프로젝트", 한국컴퓨터정보학회 학술발표논문집, 20(2), pp.267~268 (2012)
- 김주희, "OpenCV 와 컬러인식을 이용한 교육용 인터랙티브 게임의 구현", 한국멀티미디어학회 추계학술발표논문집, 30(34), pp.30~34 (2006)
- Avila, Julian, "Scikit-learn Cookbook, 2nd Ed", pp.232~249 (2017), Packt Publishing
- 이용준, "딥러닝 기반 포즈 인식 및 교정을 통한 효율적인 홈 트레이닝 시스템 개", 한국차세대컴퓨팅학회 논문지, 17(6), pp.89~99 (2021), 한국차세대컴퓨팅학회[DOI]
- [URL]