인물 개체 분할을 위한 맥락-의존적 비디오 데이터 보강
Context-Dependent Video Data Augmentation for Human Instance Segmentation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
비디오 개체 분할은 비디오를 구성하는 영상 프레임 각각에 대해 관심 개체 분할을 수행해야 할 뿐만 아니라, 해당 비디오를 구성하는 프레임시퀀스 전체에 걸쳐 개체들에 대한 정확한 트래킹을 요구하기 때문에 난이도가 높은 기술이다. 특히 드라마 비디오에서 인물 개체 분할은 다양한장소와 시간대에서 상호 작용하는 복수의 주요 등장인물들에 대한 정확한 트래킹을 요구하는 특징을 가지고 있다. 또한, 드라마 비디오 인물 개체분할은 주연 인물들과 조연 혹은 보조 출연 인물들 간의 등장 빈도에 상당한 차이가 있어 일종의 클래스 불균형 문제도 있다. 본 논문에서는 미생드라마 비디오들을 토대로 구축한 인물 개체 분할 데이터 집합인 MHIS를 소개하고, 등장인물 클래스 간의 심각한 데이터 불균형 문제를 효과적으로해결하기 위한 새로운 비디오 데이터 보강 기법인 CDVA를 제안한다. 기존의 비디오 데이터 보강 기법들과는 달리, 새로운 CDVA 보강 기법은 비디오들의시-공간적 맥락을 충분히 고려해서 목표 인물이 삽입되어야 할 배경 클립 내의 위치를 결정함으로써, 보다 더 현실적인 보강 비디오들을 생성한다. 따라서 본 논문에서 제안하는 새로운 비디오 데이터 보강 기법인 CDVA는 비디오 개체 분할을 위한 심층 신경망 모델의 성능을 효과적으로 향상시킬수 있다. 본 논문에서는 MHIS 데이터 집합을 이용한 다양한 정량 및 정성 실험들을 통해, 제안 비디오 데이터 보강 기법의 유용성과 효과를 입증한다.
Abstract
Video instance segmentation is an intelligent visual task with high complexity because it not only requires object instance segmentationfor each image frame constituting a video, but also requires accurate tracking of instances throughout the frame sequence of the video. In special, human instance segmentation in drama videos has an unique characteristic that requires accurate tracking of several maincharacters interacting in various places and times. Also, it is also characterized by a kind of the class imbalance problem because thereis a significant difference between the frequency of main characters and that of supporting or auxiliary characters in drama videos. Inthis paper, we introduce a new human instance datatset called MHIS, which is built upon drama videos, Miseang, and then proposea novel video data augmentation method, CDVA, in order to overcome the data imbalance problem between character classes. Differentfrom the previous video data augmentation methods, the proposed CDVA generates more realistic augmented videos by deciding theoptimal location within the background clip for a target human instance to be inserted with taking rich spatio-temporal context embeddedin videos into account. Therefore, the proposed augmentation method, CDVA, can improve the performance of a deep neural networkmodel for video instance segmentation. Conducting both quantitative and qualitative experiments using the MHIS dataset, we prove theusefulness and effectiveness of the proposed video data augmentation method.
참고문헌 (14)
- L. Yang, "Video instance segmentation", Proceedings of IEEE, 2019, ~
- S. Yun, "VideoMix : Rethinking data augmentation for video classification", arXiv preprint arXiv : 2012. 03457, ~ (2020)
- J. Kimata, "ObjectMix : Data augmentation by copy-pasting by copy-pasting objects in videos for action recognition", arXiv preprint arXiv : 2204. 00239, ~ (2022)
- 김호진, "준지도 비디오 객체 분할 기술을 위한 데이터 증강 기법", 방송공학회 논문지, 27(1), pp.13~19 (2022), 한국방송∙미디어공학회[DOI]
- H. J. Chun, "Human instance segmentation using video data augmentation", Proceedings of the Annual Conference of Korea Information Processing Society Conference (KIPS) 2022, 29(2), pp.532~534 (2022)
- J. Wu, "SeqFormer:Sequential transformer for video instance segmentation", European Conference on Computer Vision (2022), Springer
- A. Athar, "STEm-Seg : Spatio-temporal embeddings for instance segmentation in videos", European Conference on Computer Vision (2020), Springer
- Y. Wang, "End-to-end video instance segmentation with transformers", Proceedings of IEEE, 2022, ~
- S. Hwang, "Video instance segmentation using inter-frame communication transformers", Advances in Neural Information Processing Systems, 34 (2021)
- N. Carion, "End-to-end object detection with transformers", European Conference on Computer Vision (2020), Springerm
- H. S. Fang, "InstaBoost : Boosting instance segmentation via probability map guided copy-pasting", Proceedings of the IEEE, 2019, ~
- N. Dvornik, "Modeling visual context is key to augmenting object detection datasets", Proceedings of the European Conference on Computer Vision (2018)
- G. Ghiasi, "Simple copy-paste is a strong data augmentation method for instance segmentation", Proceedings of IEEE, 2021, ~
- J. Qi et al., "Occluded video instance segmentation", arXiv preprint arXiv : 2102. 01558, ~ (2021)