CNN기반의 온라인 수어통역 상담 시스템에 관한 연구
CNN-based Online Sign Language Translation Counseling System
2
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
청각장애인들은 수어통역 없이 상담서비스를 이용하기에는 어려움이 있다. 수어 통역사 인력이 많이 부족하여 수어 통역사까지 상담이 연결되는데 많은 시간이 걸리거나 연결이 되지 않는 경우가 많이 발생하고 있다. 이에 본 논문에서는 OpenCV와 CNN(Convolutional Neural Network)을 이용하여 수어를 영상으로 촬영하고 수어 동작을 인식하여 수어가 뜻하는 의미를 텍스트 형태의 데이터로 변환하여 사용자에게 제공하는 시스템을 제안한다. 상담사는 저장된 수어번역 상담내용을 열람하여 상담을 진행할 수 있다. 전문 수어 통역사가 없어도 상담이 가능하여 수어 통역사를 기다려야 하는 부담을 줄일 수 있다. 제안 시스템을 청각장애인 상담서비스에 적용할 경우 상담 효과의 향상과 향후 청각장애인 상담에 관한 학문적 연구를 촉진하는 계기가 될 것으로 기대된다.
Abstract
It is difficult for the hearing impaired to use the counseling service without sign language interpretation. Due to the shortage of sign language interpreters, it takes a lot of time to connect to sign language interpreters, or there are many cases where the connection is not available. Therefore, in this paper, we propose a system that captures sign language as an image using OpenCV and CNN (Convolutional Neural Network), recognizes sign language motion, and converts the meaning of sign language into textual data and provides it to users. The counselor can conduct counseling by reading the stored sign language translation counseling contents. Consultation is possible without a professional sign language interpreter, reducing the burden of waiting for a sign language interpreter. If the proposed system is applied to counseling services for the hearing impaired, it is expected to improve the effectiveness of counseling and promote academic research on counseling for the hearing impaired in the future.
참고문헌 (15)
- 김희은, "장애학생 상담지원에 대한 연구동향과 지원방안", 아시아교육연구, 20(3), pp.831~852 (2019), 교육연구소[DOI]
- 조영이, "국내 G고등학교 농학생의 교육수화통역 지원 실태조사 및 요구분석", 특수아동교육연구, 14(3), pp.237~255 (2012), 한국특수아동학회
- 박정란, "농인의 수화사용경험과 수화통역서비스이용 경험에 관한 질적연구 −내러티브연구방법을 중심으로−", 사회과학연구, 26(4), pp.93~122 (2010), 사회과학연구소
- 구성민, "청각장애인을 위한 오픈 소스 하드웨어 기반의 수화통역 장갑 & 상황 인지 보조 IoT 장치", 정보과학회 컴퓨팅의 실제 논문지, 24(4), pp.204~209 (2018), 한국정보과학회[DOI]
- D. Rempel, "The design of hand gestures for human–computer interaction: Lessons from sign language interpreters", International Journal of Human-Computer Studies, 72(10-11), pp.728~735 (2017)
- R. Sigit, "3D Sign language translator using optical flow", International Electronics Symposium(IES), pp.262~266 (2016)
- G. T. Lee, "Development of Parking Management System Using OpenCV for Handicapped Person", Proceedings of the HCI Society of Korea Conference, pp.1187~1189 (2017)
- S. H. Lee, "Piano practice using OpenCV and the Android application project", Proceedings of the Korean Society of Computer Information Conference, 20(2), pp.267~268 (2012)
- J. H. Kim, "Implementation of an educational interactive game using OpenCV and color recognition", Proceedings of the Korea Multimedia Society Conference, pp.30~34 (2006)
- 백영태, "OpenCV 영상처리와 TensorFlow 딥 러닝 영상처리 기반의 지능형 실종자 색인 시스템 구현", 한국컴퓨터정보학회논문지, 22(1), pp.15~21 (2017), 한국컴퓨터정보학회[DOI]
- 김기홍, "OpenCV를 이용한 도로표지 영상에서의 방향정보 자동인식", 한국측량학회지, 31(4), pp.293~300 (2013), 한국측량학회[DOI]
- 김강철, "Flower Recognition System Using OpenCV on Android Platform", 한국정보통신학회논문지, 21(1), pp.123~129 (2017), 한국정보통신학회[DOI]
- LeCun, Y., "Deep learning", nature, 521(7553), pp.436~444 (2015)[DOI]
- T. Bluche, "Feature extraction with convolutional neural networks for handwritten word recognition", 2013 12th International Conference on Document Analysis and Recognition. IEEE, pp.285~289 (2013)
- 이나경, "CNN기반 상품분류 딥러닝모델을 위한 학습데이터 영향 실증 분석", 한국전자거래학회지, 26(1), pp.107~126 (2021), 한국전자거래학회