시각 및 언어 모델을 활용한 인터랙티브 미술 감상 AI 도슨트 시스템
An Inclusive AI Docent System for Accessible and Interactive Art Appreciation using Vision and Language Models
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 시각장애인을 포함한 다양한 사용자가 시각 예술을 주체적으로 감상할 수 있도록, 컴퓨터 비전과 대규모 언어 모델을 결합한 대화형 미술 감상 시스템을 제안한다. 제안 시스템은YOLO 기반 객체 탐지와 VGG16 분류기를 통해 작품을 인식하고, HSV 색공간 기반 색상 보정을적용하여 감정 분석의 신뢰도를 향상시킨다. 이어서 Qwen2.5-VL-3B 모델은 시각 정보를 요약하고, Qwen2.5-32B 모델은 감성적 설명과 상호작용형 대화를 생성한다. 또한 RAG 기반 질문 응답구조와 Visual Thinking Strategies(VTS)를 활용한 프롬프트 설계를 통해 감상자의 감정 표현을 유도하고, 의미 있는 상호작용을 가능하게 한다. 본 시스템은 미술 감상의 몰입성과 접근성을 동시에 향상시키는 인공지능 응용의 가능성을 보여준다.
Abstract
In this paper, we propose an interactive art appreciation system that integrates computer vision and large language models to enable users—including those with visual impairments—to actively engage with visual art. The system recognizes artworks using YOLO-based object detection and VGG16 classification, and applies HSV-based color correction to enhance the reliability of emotional analysis. Subsequently, the Qwen2.5-VL-3B model summarizes visual content, while the Qwen2.5-32B model generates emotionally enriched descriptions and facilitates interactive dialogues. Additionally, a retrieval-augmented generation (RAG) framework is implemented to answer user questions, and prompts inspired by Visual Thinking Strategies (VTS) are used to elicit emotional responses and foster meaningful engagement. The proposed system demonstrates the potential of artificial intelligence to enhance both the accessibility and immersiveness of art appreciation, offering a new model for inclusive interaction with visual culture.