CNN기반의 청각장애인을 위한 수화번역 프로그램
CNN-based Sign Language Translation Program for the Deaf
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
사회가 점점 발전하면서 의사소통 방법이 다양한 형태로 발전하고 있다. 그러나 발전한 의사소통은 비장애인을 위한 방법이며, 청각장애인에게는 아무런 영향을 미치지 않는다. 따라서 본 논문에서는 청각장애인의 의사소통을 돕기 위한 CNN 기반의 수화번역 프로그램을 설계 및 구현한다. 수화번역 프로그램은 웹캠을 통해 입력된 수화 영상 데이터를 기반으로 의미에 맞게 번역한다. 수화번역 프로그램은 직접 제작한 24,000개의 한글 자모음 데이터를 사용하였으며, 효과적인 분류모델의 학습을 위해 U-Net을 통한 Segmentation을 진행한다. 전처리가 적용된 데이터는 19,200개의 Training Data와 4,800개의 Test Data를 통하여 AlexNet을 기반으로 학습을 진행한다. 구현한 수화번역 프로그램은 ‘ㅋ’이 97%의 정확도와 99%의 F1-Score로 모든 수화데이터 중에서 가장 우수한 성능을 나타내었으며, 모음 데이터에서는 ‘ㅣ’가 94%의 정확도와 95.5%의 F1-Score로 모음 데이터 중에서 가장 높은 성능을 보였다.
Abstract
Society is developing more and more, and communication methods are developing in many ways. However, developed communication is a way for the non-disabled and has no effect on the deaf. Therefore, in this paper, a CNN-based sign language translation program is designed and implemented to help deaf people communicate. Sign language translation programs translate sign language images entered through WebCam according to meaning based on data. The sign language translation program uses 24,000 pieces of Korean vowel data produced directly and conducts U-Net segmentation to train effective classification models. In the implemented sign language translation program, ’ㅋ‘ showed the best performance among all sign language data with 97% accuracy and 99% F1-Score, while ’ㅣ‘ showed the highest performance among vowel data with 94% accuracy and 95.5% F1-Score.
참고문헌 (12)
- 전근표, "청각장애인의 직업적응 과정에 나타난 의사소통 경험연구", 직업재활연구, 30(2), pp.97~125 (2020), 한국직업재활학회[DOI]
- 이현석, "키넥트의 모션 인식 기능을 이용한 수화번역 시스템 개발", 융합신호처리학회 논문지, 14(4), pp.235~242 (2013), 한국융합신호처리학회[DOI]
- 김미옥, "청각장애인의 의사소통 경험", 한국사회복지학, 65(2), pp.155~177 (2013), 한국사회복지학회[DOI]
- 김인혜, "딥러닝 기반 OpenPose를 이용한 한국 수화 동작 인식에 관한 연구", 디지털콘텐츠학회논문지, 22(4), pp.681~687 (2021), 한국디지털콘텐츠학회[DOI]
- 정필성, "라즈베리 파이와 립 모션을 이용한 지화 번역 시스템 설계 및 구현", 한국정보통신학회논문지, 19(9), pp.2006~2013 (2015), 한국정보통신학회[DOI]
- 조정란, "수화번역시스템을 위한 인공신경망의 응용", 한국컴퓨터정보학회논문지, 24(2), pp.185~192 (2019), 한국컴퓨터정보학회[DOI]
- 한솔이, "형태소 분석 기반 전자책 수화 번역 프로그램", 한국정보통신학회논문지, 21(2), pp.461~467 (2017), 한국정보통신학회[DOI]
- J. Long, "Fully convolutional networks for semantic segmentation", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.3431~3440 (2015)
- O. Ronneberger, "U-Net:Convolutional networks for biomedical image segmentation", Lecture Notes in Computer Science, pp.234~241 (2015)
- A. Krizhevsky, "Imagenet classification with deep convolutional neural networks", Advances in neural information processing systems, pp.1097~1105 (2012)
- 박성호, "Receiver Operating Characteristic (ROC) Curve: Practical Review for Radiologists", Korean Journal of Radiology, 5(1), pp.11~18 (2004), 대한영상의학회
- H. Huang, "Maximum F1-Score Discriminative Training Criterion for Automatic Mispronunciation Detection", IEEE, 2015, pp.23(4), 787~797