감시 영상에서 비정상적인 인체 행동 탐지를 위한 시공간 트랜스포머 네트워크
Spatio-Temporal Transformer Network for Abnormal Human Action Detection in Surveillance Video
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
인간 행동 분석은 감시 및 공공 환경에서 보안 위협, 비정상적인 사건, 그리고 잠재적으로 의심스러운 활동과 관련된 이상 행동을 식별하는 데 매우 중요하다. 그러나 복잡한 실제 환경에서는 영상 기반 이상 행동 탐지가 여전히 상당한 도전 과제를 안고 있다. 본 연구에서는 사전 학습된 CLIP 이미지 인코더(CLIP Image Encoder)를 이용한 강력한 특징 추출과 트랜스포머(Transformer) 기반의 순차 모델을 결합한 심층 학습 기반 이상 인간 행동 탐지 기법을 제안한다. 제안된 방법은 영상 시퀀스 전반에 걸쳐 공간적(시각적) 및 시간적 행동 특성을 효과적으로 포착한다. 장면과 피사체의 시각적 특성을 풍부하게 표현하는 특징을 CLIP 이미지 인코더를 통해 직접 추출하고, 이를 인코더 전용 트랜스포머 모델에 입력하여 행동 시퀀스를 정상 또는 이상으로 분류한다. 제안된 모델은 감시 관점 인간 행동 인식(Surveillance Perspective Human Action Recognition, SPHAR) 데이터셋을 사용하여 평가되었으며, 높은 분류 정확도와 실시간 성능을 달성하였다. 실험 결과, 제안된 방법이 감시 영상 관점에서 이상 인간 행동을 탐지하는 데 있어 효과적이고 견고함을 입증하였다.
Abstract
Human action analysis is crucial for identifying abnormal behaviors linked to security threats, unusual events, and potentially suspicious activities in surveillance and public settings. However, video-based abnormal action detection still presents significant challenges, particularly in complex, real-world scenarios. This study proposes a deep learning approach for abnormal human action detection that integrates robust feature extraction using a pre-trained CLIP Image Encoder with a Transformer-based sequential model. The proposed method effectively captures both spatial (visual) and temporal action characteristics across video sequences. Rich visual features, representing the scene and subject’s appearance, are extracted directly from video frames using the CLIP image encoder and fed into an encoder-only Transformer model to classify action sequences as abnormal or normal. The model was evaluated on the Surveillance Perspective Human Action Recognition (SPHAR) dataset, achieving high classification accuracy and real-time performance. Experimental results demonstrate the effectiveness and robustness of the proposed method in detecting abnormal human actions from a surveillance perspective.