멀티모달 행동 및 음성 인식 기반의 OTT 콘텐츠 장면 검색 고도화 방법
An Enhanced Scene Retrieval Method for OTT Content Based on Multimodal Action and Speech Recognition
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
OTT(Over-the-Top) 플랫폼의 확산으로 인해 영상 콘텐츠의 양이 급증함에 따라, 정밀한 의미 중심적인장면 검색 기술의 수요가 높아지고 있다. 특히 드라마나 영화와 같이 인물 중심의 서사와 다양한 편집 기법이 적용된 콘텐츠에서는 기존의 키프레임 기반 검색 방식만으로는 장면 간의 맥락과 의미를 효과적으로 파악하기 어렵다. 본 논문에서는 Transformer 기반의 행동 인식 모델과 STT(Speech-to-Text) 기반의 음성 인식기술을 결합한 멀티모달 행동 및 음성 인식 기반의 OTT 콘텐츠 장면 검색 고도화 방법을 제안한다. 제안된방법은 연속된 프레임을 의미 단위의 행동 구간으로 분할하고, 구간 내 객체 및 관계 정보를 통합하여 중복없는 씬 그래프를 구성한다. 여기에 발화 구간을 정밀하게 추출하여 시각 정보와 시간적 정합성을 갖춘 형태로 통합함으로써, 기존보다 더 정밀하고 맥락 중심적인 장면 검색을 실현한다. 본 논문에서는 인물 중심 장면탐색, 감정 기반 클립 추출, 발화 중심 검색 등 다양한 응용 가능성을 제시하며, 향후 OTT 콘텐츠의 활용성과 개인화된 콘텐츠 경험을 크게 향상시킬 수 있을 것으로 기대된다.
Abstract
With the rapid growth of OTT (Over-the-Top) platforms, the volume of video content has increased exponentially, leading to a rising demand for precise and context-aware scene retrieval technologies. In narrative-driven content such as dramas and films, which often involve complex editing techniques and character-centric storytelling, conventional keyframe-based search methods fall short in capturing semantic continuity and scene context. This paper proposes an advanced method for OTT content scene retrieval based on multimodal action and speech recognition, combining a Transformer-based action recognition model with Speech-to-Text (STT) technology. The proposed approach segments continuous video frames into meaningful action intervals and constructs a de-duplicated scene graph by integrating key objects and their relationships within each segment. Furthermore, speech segments are accurately extracted and temporally aligned with visual data, enabling a unified multimodal representation of scenes. This integration supports more refined and semantically rich scene searches, such as character-centered navigation, emotion-based clip extraction, and dialogue-driven retrieval. The proposed method is expected to significantly enhance the personalization and reusability of OTT content in various user-centered applications.