행동 분류에 기반한 영상의 시공간적 특성과 자기주도 학습의 융합적 접근
A Convergence Approach of Spatio-temporal Characteristics of Images and Self-directed Learning based on Action Classification
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문에서는 차량 내부에서 운전자의 행동을 촬영하고 해당 데이터를 활용하여 운전자의 행동이 운전에 적합한지를 판별하는 비디오 내 인물 행동 인식(Video human action recognition) 문제에 대한 연구를 다룬다. 이를 위해 세 가지 관점에서 찍힌 운전자의 행동 데이터셋을 구축하여, 운전자의 동작을 인식하고 분류하는 작업을 진행하였다. 이를 위해 다양한 특징 추출 기법과 대조 학습(Contrastive learning) 중 하나인 자기주도 학습을 사용하여 여러 벤치마크 모델을 학습하고 평가하였다. 특히, Slowfast 특징 추출기를 활용하여 세 관점의 데이터를 통합적으로 활용하는 'Triplepoint feature extraction' 및 프레임의 완전한 랜덤 추출을 통해 시간적인 특징을 가진 'Random complete extraction'과 같은 다양한 시간 공간적 특징 추출 방법을 적용하여 성능을 비교하였다.
Abstract
This paper deals with research on the problem of video human action recognition, which involves filming the driver's actions inside the vehicle and using the data to determine whether the driver's actions are appropriate for driving. To this end, we constructed a driver's behavior dataset taken from three perspectives and proceeded to recognize and classify the driver's actions. To this end, we learned and evaluated several benchmark models using various feature extraction techniques and self-directed learning, a type of contrastive learning. In particular, various temporal and spatial feature extraction methods are applied, such as 'Triplepoint feature extraction', which integrates data from three perspectives using a slowfast feature extractor, and 'Random complete extraction', which uses temporal features through complete random extraction of frames. The performance was compared.
참고문헌 (6)
- Naphade, Milind, "The 7th AI City Challenge", Proceedings of the IEEE, 2023, ~
- Hochreiter, Sepp, "The vanishing gradient problem during learning recurrent neural nets and problem solutions", International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 6(02), pp.107~116 (1998)
- Vaswani, Ashish, "Attention is all you need", Advances in neural information processing systems, 30 (2017)
- Dietterich, Thomas G, "Machine learning for sequential data: A review", Structural, Syntactic, and Statistical Pattern Recognition: Joint IAPR International Workshops SSPR 2002 and SPR 2002 Windsor (2002), Springer Berlin Heidelberg
- Ng, Andrew, "Sparse autoencoder", CS294A Lecture notes 72.2011, 1~19 (2011)
- Sun, Fei, "BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer", Proceedings of the 28th ACM international conference on information and knowledge management (2019)