객체 중심 증강 기법을 통한 군중 장면에서의 임베딩 유사도 기반 이상 탐지
Embedding similarity-based anomaly detection in crowd scenes via object-centric augmentation
1
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
이상 탐지는 비디오 프레임에서 정상 이벤트에서 벗어난 이상 영역의 위치를 검출하는 데 중점을 둔다. 본 논문에서는 객체 중심 증강 기법을 통한 군중 장면에서의 임베딩 유사성 기반 이상 탐지 기법을 제안한다. 우선 우리가 제안한 객체 중심 증강 기법을 통해 객체들이 이미지의 모든 영역에 위치하게끔 한다. 그런 다음 사전 훈련된 합성 곱 신경망(CNN)을 사용하여 임베딩 벡터를 추출한다. 그 이후 추출한 임베딩 벡터의 다변량 가우스 분포를 계산하여 정상 클래스의 분포 파라미터를 학습한다. 테스트 이미지에서의 이상 영역을 감지하기 위해 우선 정상 클래스를 나타내는 참조 벡터와 테스트 이미지에서부터 추출한 임베딩 벡터 사이의 거리를 계산하여 이상치 맵을 생성한다. 그 이후 이상치 맵에서의 높은 스코어를 가지는 영역을 추출하는 방식으로 이상 영역을 감지할 수 있다. UCSD 데이터 셋을 사용하여 실험한 결과 우리가 제안한 방법이 다른 임베딩 유사성 기반 방법보다 이상 영역을 더 잘 감지할 수 있음을 보여준다.
Abstract
Anomaly detection focuses on the problem of localization or classification of anomaly regions in a video frame that deviated from their normal event. In this paper, we present embedding similarity-based anomaly detection in crowd scenes via object-centric augmentation. First, we locate the objects in all possible spaces in the images using our proposed object-centric augmentation technique. Then, we use a pre-trained convolutional neural network (CNN) to extract embedding vectors. After that, a probabilistic representation of the normal class is obtained by calculating multivariate Gaussian distributions of the embedding vectors. To detect the anomalous regions of a test image, the anomaly map is formed by calculating the distance between reference vectors representing normal class and embedding vectors of a test image. Finally, the anomalous regions can be detected by extracting the regions that contain a high anomaly score in the anomaly map. Experimental results show that our proposed method can detect anomalous regions better than another embedding similarity-based method on the UCSD dataset.
참고문헌 (37)
- 임현석, "잔류 밀집 네트워크 기반 영상 해상도 향상 전처리 기법을 활용한 X-ray 폐렴 진단 연구", 한국차세대컴퓨팅학회 논문지, 16(5), pp.15~28 (2020), 한국차세대컴퓨팅학회[DOI]
- 파우델 사하데브, "Medical Image Segmentation via Multi-scale Attention Guided Network", 한국차세대컴퓨팅학회 논문지, 16(3), pp.51~62 (2020), 한국차세대컴퓨팅학회[DOI]
- 최재걸, "역문서빈도로 가중된 부속단어를 이용한 FastText 워드 임베딩", 한국차세대컴퓨팅학회 논문지, 15(3), pp.67~77 (2019), 한국차세대컴퓨팅학회[DOI]
- L. Kratz, "Anomaly detection in extremely crowded scenes using spatiotemporal motion pattern models", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1446~1453 (2009)
- R. Mehran, "Abnormal crowd behavior detection using social force model", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.935~942 (2009)
- K. -W. Cheng, "Video anomaly detection and localization using hierarchical feature representation and gaussian process regression", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.2909~2917 (2015)
- D. Helbing, "Social force model for pedestrian dynamics", Physical review E, 51(5), pp.4282~ (1995)
- P. Dollar, "Behavior recognition via sparse spatio-temporal features", IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance (VSPETS) (2005)
- C. E. Rasmussen, "Summer School on Machine Learning", pp.63~71 (2003), Springer
- P. Bergmann, "Mvtec ad–acomprehensive real-world dataset for unsupervised anomaly detection", CVPR (2019)
- P. Bergmann, "Improving unsupervised defect segmentation by applying structural similarity to autoencoders", VISIGRAPP (2019)
- D. Gong, "Memorizing normality to detect anomaly:Memoryaugmented deep autoencoder for unsupervised anomaly detection" (2019), ICCV
- C. Huang, "Attribute restoration framework for anomaly detection", arXiv1911.10676, ~ (2019)
- S. Venkataramanan, "Attention guided anomaly localization in images", arXiv1911.08616, ~ (2019)
- D. P. Kingma, "Auto-encoding variational bayes", ICLR (2014)
- K. Sato, "Predictable uncertainty-aware unsupervised deep anomaly segmentation", IJCNN (2019)
- W. Liu, "Towards visually explaining variational autoencoders", CVPR (2020)
- M. Sabokrou, "Adversarially learned one-class classifier for novelty detection", CVPR (2018)
- S. Pidhorskyi, "Generative probabilistic novelty detection with adversarial autoencoders", NIPS (2018)
- S. Akcay, "Ganomaly: Semisupervised anomaly detection via adversarial training", ACCV (2018)
- D. Abati, "Latent space autoregression for novelty detection", CVPR (2019)
- K. H. Kim, "Rapp: Novelty detection with reconstruction along projection pathway", ICLR (2020)
- S. Akcay, "Skip-ganomaly: Skip connected and adversarially trained encoder-decoder anomaly detection", IJCNN (2019)
- P. Perera, "OCGAN:one-class novelty detection using gans with constrained latent representations", CVPR (2019)
- L. Bergman, "Classificationbased anomaly detection for general data", ICLR (2020)
- L. Ruff, "Deep one-class classification", ICLM (2018)
- O. Rippel, "Modeling the distribution of normal data in pre-trained deep features for anomaly detection", arXiv, 2005.14140, ~ (2020)
- L. Bergman, "Deep nearest neighbor anomaly detection", arXiv, 2002.10445, ~ (2020)
- P. Bergmann, "Uninformed students: Student-teacher anomaly detection with discriminative latent embeddings", CVPR (2020)
- J. Yi, "Patch svdd: Patch-level svdd for anomaly detection and segmentation", arXiv, 2006.16067, ~ (2020)
- N. Cohen, "Sub-image anomaly detection with deep pyramid correspondences", arXiv, 2005.02357, ~ (2020)
- S. R. Napoletano, "Anomaly detection in nanofibrous materials by cnnbased self-similarity", Sensors, 18(1), pp.209~ (2018)
- Defard, T., "PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization", arXiv preprint arXiv:2011. 08785, ~ (2020)
- K. He, "Deep residual learning for image recognition", ICML (2016)
- S. Zagoruyko, "Wide residual networks", BMVC (2016)
- M. Tan, "Efficientnet:Rethinking model scaling for convolutional neural networks", ICML (2019)
- Mahadevan, V., "Anomaly detection in crowded scenes", Computer Vision and Pattern Recognition (CVPR), pp.1975~1981 (2010)