양방향 비디오 예측 정보 결합을 통한 시간적 행동 검출
Temporal Action Detection via Bi-Directional Video Prediction Fusion
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
시간적 행동 검출(Temporal Action Detection)은 비디오 내에서 특정 행동의 시작과 종료 시점을 정확하게 식별하기 위한 핵심 과제로 주목받고 있다. 스마트폰의 보급으로 비디오 촬영 및 편집이 용이해지면서, 다양한 형태의 비정형 비디오 콘텐츠가 대량으로 생성되고 있으며, 이에 따라 시간적 행동 검출에 대한 연구 또한 활발히 이루어지고 있다. 일반적으로 우리가 접하는 비디오는시간의 흐름에 따라 순방향으로 재생되기 때문에, 인간은 역방향으로 재생되는 비디오에서 행동을 인식하는 데 인지적 어려움을 겪는다. 반면, 딥러닝 기반 모델은 역재생 비디오를 학습하는 것이 가능하며, 순방향 비디오로 학습한 모델과 유사한 수준의 전체 성능을 보이는 것으로 나타난다. 흥미롭게도, 두 모델은 유사한 성능을 보이더라도 행동을 탐지하는 시간적 구간에서는 차이를 나타낸다. 본 연구에서는 이러한 차이에 주목하여, 순방향 및 역방향 모델의 상보적 특성을 활용한 새로운 시간적 행동 검출 학습 기법을제안한다. 제안한 방법은 기존 베이스라인 대비 평균 mAP를 0.59% 향상시킴으로써, 시간 방향성을 고려한 학습이 시간적 행동 검출 성능 향상에 효과적임을 입증하였다.
Abstract
Temporal Action Detection has recently emerged as a key task aimed at accurately identifying the start and endpoints of specific actions within videos. With the widespread use of smartphones, video recording and editing havebecome more accessible, leading to the rapid proliferation of unstructured video content across media platforms. Consequently, research on temporal action detection has gained significant traction. Since most videos are playedin the forward direction, as aligned with the natural flow of time, humans tend to experience cognitive difficultyin recognizing actions within reversed videos. In contrast, deep learning models can be trained directly on reversedvideo data and have been shown to achieve comparable overall performance to those trained on forward videos. Interestingly, despite the similar performance, the two models differ in the specific temporal segments they detectas actions. Motivated by this observation, we propose a novel training framework that leverages the complementarycharacteristics of forward and reversed models for temporal action detection. Our proposed method improves theaverage mAP by 0.59% over the baseline, demonstrating the effectiveness of incorporating temporal directionalityinto the training process.