미세 조정을 통한 VideoLLaMA2 기반의보행자 도로 보행 예측 및 안전성 강화
Pedestrian Road-Crossing Prediction and Safety Enhancement Using Fine-tuned VideoLLaMA2
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 교통사고에서 가장 취약한 보행자의 안전을 강화하기 위해 최신의 멀티모달 대형 언어 모델(MLLM)인 VideoLLaMA2를 활용한 보행자도로 보행 예측 방법을 제안한다. 매년 약 5천만 건의 교통사고가 발생하며, 이 중 상당수가 보행자와 관련되어 있어 보행자의 도로 보행을 예측하는시스템의 필요성이 크다. 학습셋에만 의존적인 기존 머신러닝 및 딥러닝 기반 접근법의 한계를 극복하기 위해, 본 연구는 JAAD 데이터셋 기반의QA 데이터셋을 구축하고, VideoLLaMA2를 미세 조정하여 성능을 개선하였다. VideoLLaMA2는 시공간적 정보를 학습하는 STC Connector를 통해보행자 행동 예측의 정확성과 해석 가능성을 강화하며, 미세 조정된 모델은 미세 조정되지 않은 모델 대비 2% 향상된 정확도(ACC 60%)와 높은F1 점수(0.63)를 기록하였다. 추가로 입력 특징 소거 실험에서는 Scene Context, Bounding Box 좌표, Local Context 등이 성능 향상에 중요한역할을 함을 확인했으며, 영상 내 보행자 크기가 클수록 예측 성능이 높아지는 경향을 보였다. 정성적 평가 결과, 모델은 보행자의 행동을 해석가능한 방식으로 예측할 수 있었으며, 일부 오류 사례에서 데이터 품질 개선의 필요성을 제시한다. 본 연구는 자율주행차 및 교통안전 시스템의신뢰성과 안전성을 높이는 데 기여하며, 향후 다양한 주행 환경에서의 모델 검증과 실시간 대응 능력 강화를 위한 발전 방향을 제안한다.
Abstract
This study proposes a pedestrian road-crossing prediction method utilizing the state-of-the-art Multimodal Large Language Model(MLLM), VideoLLaMA2, to enhance the safety of pedestrians, the most vulnerable road users in traffic accidents. With approximately 50million traffic accidents occurring annually, many involving pedestrians, the need for systems predicting pedestrian road-crossing behavioris critical. To overcome the limitations of traditional machine learning and deep learning approaches that heavily rely on training datasets,this study constructs a QA dataset based on the JAAD dataset and fine-tunes VideoLLaMA2 to improve performance. VideoLLaMA2 leveragesa Spatial-Temporal Convolution (STC) Connector to enhance the accuracy and interpretability of pedestrian behavior predictions. Thefine-tuned model achieves a 2% improvement in accuracy (ACC 60%) and a high F1 score (0.63) compared to the non-fine-tuned model. Ablation studies further demonstrate the importance of input features such as Scene Context, Bounding Box coordinates, and Local Context,while larger pedestrian sizes within the frame show a positive correlation with predictive performance. Qualitative results reveal thatthe model can predict pedestrian behavior in an interpretable manner, while highlighting the need for improved data quality in someerror cases. This study contributes to enhancing the reliability and safety of autonomous vehicles and traffic safety systems, and it suggestsfuture directions for validating the model across diverse driving environments and strengthening real-time responsiveness.