시각장애인 보조를 위한 멀티모달 AI 로봇 시스템 개발
Development of a Multimodal AI Robot System for Assisting the Visually Impaired
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 늘어나는 시각장애인의 안전한 보행과 사회적 상호작용을 지원하며, 안내견 및 기존 보조기기의 구조적, 경제적 힌계를 극복할 수 있는 딥러닝 기반 지능형 로봇 안내 시스템을 개발하는 것을 목적으로 한다. Python 기반 멀티스레딩 구조에서 YOLOv8n 객체 인식과 RealSense를 활용해 실시간 객체 탐지 및 거리를 측정했으며 또한 딥러닝 기반 얼굴 인식과 GPT API 기반 대화형 음성 인터페이스를 통합하여 시스템을 구현했다. YOLOv8n 모델을 통해 실시간 객체 탐지에서 높은 신뢰도와 정밀도를 입증했고 얼굴 인식 기능은 사용자와 보호자 식별을 지원하고, GPT API 기반의 대화 인터페이스는 능동적인 정보 접근과 사회적 상호작용을 가능하게 했다. 이는 시각장애인의 독립성을 크게 향상시키고 기존 보조 기기의 적합성, 환경 제약, 비용 문제 등 구조적 한계를 보완하는 새로운 대안을 제시한다.
Abstract
The purpose of this study is to develop a deep learning-based intelligent robot guidance system that supports safe walking and social interaction of the increasing number of visually impaired people and can overcome the structural and economic hindrance of guide dogs and existing assistive devices. We used YOLOv8n object recognition and RealSense in Python-based multi-threading structure to measure real-time object detection and distance, and also implemented the system by integrating deep learning-based face recognition and GPT API-based interactive voice interface. The YOLOv8n model demonstrated high reliability and precision in real-time object detection, the face recognition function supports user and guardian identification, and the GPT API-based conversation interface enables active information access and social interaction. This greatly improves the independence of visually impaired people and presents new alternatives to supplement structural limitations such as suitability, environmental constraints, and cost issues of existing assistive devices.