본문 바로가기
KERD
논문KCI 등재

단일 이미지에 기반을 둔 사람의 포즈 추정에 대한 연구 동향

Recent Trends in Human Pose Estimation Based on a Single Image

조정찬
한국차세대컴퓨팅학회 (KINGComputing)|2019.10|한국차세대컴퓨팅학회 논문지 (The Journal of Korean Institute of Next Generation Computing)|제15권 제5호|pp. 31-42|DOI 10.23019/kingpc.15.5.201910.003

2

조회

0

다운로드

7

인용

0

참고문헌

키워드

연구 동향research trends딥러닝Deep learning행동인식사람 포즈사람 포즈 추정human posehuman pose estimationaction recognition
주제분류컴퓨터학

초록

최근 딥러닝 기술이 발전함에 따라 많은 컴퓨터 비전 연구 분야에서 주목할 만한 성과들이 지속적으로 나오고 있다. 단일 이미지를 기반으로 사람의 2차원 및 3차원 포즈를 추정하는 연구에서도 비약적인 성능향상을 보여주고 있으며, 많은 연구자들이 문제의 범위를 확장하며 활발한 연구 활동을 진행하고 있다. 사람의 포즈 추정은 다양한 응용 분야가 존재하고, 특히 이미지나 비디오 분석에서 사람의 포즈는 행동 및 상태, 의도 파악을 위한 핵심 요소가 되기 때문에 상당히 중요한 연구 분야이다. 이러한 배경에 따라 본 논문은 단일 이미지를 기반으로 한 사람의 포즈 추정 기술에 대한 연구 동향을 살펴보고자 한다. 강인하고 정확한 문제 해결을 위해 다양한 연구 활동 결과가 존재한다는 점에서 본 논문에서는 사람의 포즈 추정 연구를 2차원 및 3차원 포즈 추정에 대해서 나누어 살펴보고자 한다. 끝으로 연구에 필요한 데이터 세트 및 사람의 포즈 추정 기술을 적용하는 다양한 연구 사례를 살펴볼 것이다.

Abstract

With the recent development of deep learning technology, remarkable achievements have been made in many research areas of computer vision. Deep learning has also made dramatic improvement in two-dimensional or three-dimensional human pose estimation based on a single image, and many researchers have been expanding the scope of this problem. The human pose estimation is one of the most important research fields because there are various applications, especially it is a key factor in understanding the behavior, state, and intention of people in image or video analysis. Based on this background, this paper surveys research trends in estimating human poses based on a single image. Because there are various research results for robust and accurate human pose estimation, this paper introduces them in two separated subsections: 2D human pose estimation and 3D human pose estimation. Moreover, this paper summarizes famous data sets used in this field and introduces various studies which utilize human poses to solve their own problem.

참고문헌 (54)

  2. 배창석, "동영상 시맨틱 이해를 위한 시각 동사 도출 및 액션넷 데이터베이스 구축", 한국차세대컴퓨팅학회 논문지, 14(5), pp.19~30 (2018), 한국차세대컴퓨팅학회
  3. 라준, "TSSN: 감시 영상의 강우량 인식을 위한 심층 신경망 구조", 한국차세대컴퓨팅학회 논문지, 14(6), pp.87~97 (2018), 한국차세대컴퓨팅학회
  4. 최현종, "이중흐름 3차원 합성곱 신경망 구조를 이용한 효율적인 손 제스처 인식 방법", 한국차세대컴퓨팅학회 논문지, 14(6), pp.66~74 (2018), 한국차세대컴퓨팅학회
  5. 후세인 탄베르, "Structural similarity based efficient keyframes extraction from multi-view videos", 한국차세대컴퓨팅학회 논문지, 14(6), pp.7~14 (2018), 한국차세대컴퓨팅학회
  6. Y. Yang, "Articulated pose estimation with flexible mixtures-of-parts", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2011)
  7. S. Johnson, "Clustered pose and nonlinear appearance models for human pose estimation", Proc. of the British Machine Vision Conference (2010)
  8. M. Andriluka, "2D human pose estimation: New benchmark and state of the art analysis", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2014)
  9. T. Y. Lin, "Microsoft coco: Common objects in context", Proc. of the European conference on computer vision (2014)
  10. N. Dalal, "Histograms of oriented gradients for human detection", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2005)
  11. J. Deng, "ImageNet: A Large-scale hierarchical image database", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2009)
  12. A. Krizhevsky, "Imagenet classification with deep convolutional neural networks", Proc. of Neural Information Processing Systems (2012)
  13. A. Toshev, "Deeppose: Human pose estimation via deep neural networks", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2014)
  14. S. E. Wei, "Convolutional pose machines", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2016)
  15. B. Sapp, "MODEC: Multimodal decomposable models for human pose estimation", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2013)
  16. A. Newell, "Stacked hourglass networks for human pose estimation", Proc. of the European conference on computer vision (2016)
  17. Y. Chen, "Cascaded pyramid network for multi-person pose estimation", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2018)
  18. B. Xiao, "Simple baselines for human pose estimation and tracking", Proc. of the European conference on computer vision (2018)
  19. K. He, "Deep residual learning for image recognition", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2016)
  20. K. Sun, "Deep high-resolution representation learning for human pose estimation", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2019)
  21. Z. Cao, "OpenPose: Realtime multi-person 2D pose estimation using Part Affinity Fields", arXiv preprint, arXiv:1812.08008, ~ (2018)
  22. E. Simo-Serra, "Single image 3D human pose estimation from noisy observations", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2012)
  23. E. Simo-Serra, "A joint model for 2D and 3D pose estimation from a single image", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2013)
  24. A. Agarwal, "3D human pose from silhouettes by relevance vector regression", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2004)
  25. M. E. Tipping, "The relevance vector machine", Proc. of Neural Information Processing Systems (2000)
  26. I. Kostrikov, "Depth sweep regression forests for estimating 3D human pose from images", Proc. of the British Machine Vision Conference (2014)
  27. G. Pavlakos, "Coarse-to-fine volumetric prediction for single-image 3D human pose", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2017)
  28. W. Yang, "3D human pose estimation in the wild by adversarial learning", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2018)
  29. D. Mehta, "Monocular 3D human pose estimation in the wild using improved CNN supervision", Proc. of International Conference on 3D Vision (2017)
  30. G. Rogez, "LCR-Net: Localization-classification-regression for human pose", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2017)
  31. S. Ren, "Faster R-CNN: Towards real-time object detection with region proposal networks", Proc. of Neural Information Processing Systems (2015)
  32. D. Mehta, "Single-shot multi-person 3D pose estimation from monocular RGB", Proc. of International Conference on 3D Vision (2018)
  33. R. Alp Güler, "Densepose: Dense human pose estimation in the wild", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2018)
  34. 차은미, "구성요소 기반 확률 전파를 이용한2D 사람 자세 추정", 한국HCI학회 학술대회 (2007)
  35. 오수영, "파트 기반 영역 매칭을 이용한 사람자세 추정", 한국정보과학회 학술발표논문집 (2015)
  36. 이경미, "사람 자세 추정을 위한 모델기반 추적", 한국HCI학회 학술대회 (2006)
  37. 박준혁, "자세 추정을 이용한 비디오에서의 사람 수 측정 및 분류", 한국정보과학회 학술발표논문집 (2017)
  38. G. Moon, "Posefix: Model-agnostic general human pose refinement network", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2019)
  39. J. Cho, "Single image 3D human pose estimation using a procrustean normal distribution mixture model and model transformation", Computer Vision and Image Understanding, 155, pp.150~161 (2017)
  40. G. Cha, "Deep pose consensus networks", Computer Vision and Image Understanding, 182, pp.64~70 (2019)
  41. S. Park, "3D human pose estimation with relational networks", Proc. of the British Machine Vision Conference (2018)
  42. J. Chang, "DR-Net: Denoising and reconstruction network for 3D human pose estimation from monocular rgb videos", IET Electronics Letters, 54(2), pp.70~72 (2018)
  43. J. Chang, "2D-3D pose consistency-based conditional random fields for 3D human pose estimation", Computer Vision and Image Understanding, 169, pp.52~61 (2018)
  44. G. Moon, "Camera distance-aware top-down approach for 3D multi-person pose estimation from a single RGB image", Proc. of the International Conference on Computer Vision (2019)
  45. S. Johnson, "Learning effective human pose estimation from inaccurate annotation", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2011)
  46. L. Sigal, "Humaneva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion", International journal of computer vision, 87(1-2), pp.4~ (2010)
  47. C. Ionescu, "Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments", IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7) (2014)
  48. D. Mehta, "Monocular 3D human pose estimation in the wild using improved CNN supervision", Proc. of International Conference on 3D Vision (2017)
  49. L. Fridman, "Mit autonomous vehicle technology study : Large-scale deep learning based analysis of driver behavior and interaction with automation", arXiv preprint, arXiv:1711.06976, ~ (2017)
  50. C. Wang, "An approach to pose-based action recognition", Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (2013)
  51. H. Jhuang, "Towards understanding action recognition", Proc. of the International Conference on Computer Vision (2013)
  52. Z. Zhao, "Single image action recognition using semantic body part actions", Proc. of the International Conference on Computer Vision (2017)
  53. C. Chan, "Everybody dance now", arXiv preprint, arXiv:1808.07371, ~ (2018)
  54. N. Neverova, "Dense pose transfer", Proc. of the European conference on computer vision (2018)

관련 논문AI추천

자세 예측을 이용한 효과적인 자세 기반 감정 동작 인식김진옥한국정보처리학회 · 정보처리학회 논문지2013 · 제2권 제3호3차원 자세 추정 기법의 성능 향상을 위한 임의 시점 합성 기반의 고난도 예제 생성김민지, 김성찬대한임베디드공학회 · 대한임베디드공학회논문지2024 · 제19권 제1호트랜스포머 기반의 다중 시점 3차원 인체자세추정김계영, 이진영, 최승욱(사)한국스마트미디어학회 · 스마트미디어저널2023 · 제12권 제11호3차원 자세 추정을 위한 딥러닝 기반이상치 검출 및 보정 기법박지성, 이동호, 주찬양한국정보처리학회 · 정보처리학회 논문지2022 · 제11권 제10호신체 부분 포즈를 이용한 깊이 영상 포즈렛과 제스처 인식박재완, 이칠우(사)한국스마트미디어학회 · 스마트미디어저널2016 · 제5권 제2호Self-Supervised 자세 추정과 On-Device AI 기반 다중 객체 상호작용 분석 동향강명아한국인공지능융합기술학회 · 인공지능융합기술연구2025 · 제5권 제4호

이 간행물의 다른 논문 (7건)

블룸 필터와 최적화를 이용한 SSD-Insider 알고리즘의 탐지 성능 향상양대헌, 김정현, 이경희, 정창훈pp. 7-19실내 환경 모니터링을 위한 교체형 센서 모듈한순희, 박정선pp. 20-30양방향 2D Gabor 필터를 이용한 교차점 검출 기법허연진, 이철희, 김주환, 신병석pp. 43-52모바일 기반 Air Writing을 위한 객체 탐지 및 광학 문자 인식 방법김태영, 고영진, 김태일pp. 53-633차원 뇌 자기공명 영상의 비지도 학습 기반 비강체 정합 네트워크이정진, 김보형, 신영길, 오동건pp. 64-74
원문 보기