본문 바로가기
KERD
논문KCI 등재

동영상 시맨틱 이해를 위한 시각 동사 도출 및 액션넷 데이터베이스 구축

Visual Verb and ActionNet Database for Semantic Visual Understanding

김보경|배창석
한국차세대컴퓨팅학회 (KINGComputing)|2018.10|한국차세대컴퓨팅학회 논문지 (The Journal of Korean Institute of Next Generation Computing)|제14권 제5호|pp. 19-30

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

동영상 이해시각 동사액션넷동영상 데이터베이스시맨틱 이해Video understandingvisual verbActionNetvideo databasesemantic understanding
주제분류컴퓨터학

초록

상 데이터에 한 시맨틱 정보를 정확하게 이해하는 것은 인공지능 기계학습 분야에서 가장 어려운 도과제의 하나로 알려져 있다. 본 논문에서는 동상 시맨틱 이해를 한 시각 동사 도출과 이를 바탕으로 하는 동상 데이 터베이스인 액션넷 데이터베이스 구축에 해 제안하고 있다. 오늘날 인공지능 기술의 부신 발달에는 인공지능 알 고리즘의 발이 크게 기여하지만 알고리즘의 학습과 성능 평가를 한 방한 데이터베이스의 제공도 기여한 바 가 매우 크다고 할 수 있다. 인공지능이 도하기 어려운 분야던 시각 정보 처리에 있어서도 정지 상 내의 객체 인식에 있어서는 인간의 수을 능가하기 시작하면서 차 동상에서의 내용에 한 시맨틱 이해 기술 개발로 발 하고 있다. 본 논문에서는 이러한 동상 이해를 한 학습 테스트 데이터베이스로서 액션넷 구축에 요구되는 시 각 동사의 후보를 도출한다. 이를 해 언어학 기반의 동사 분류체계를 살펴보고, 상에서의 시각 정보를 명세한 데이터 언어학에서의 시각 동사 빈도 등으로부터 시각 동사의 후보를 도출한다. 시각 동사 분류체계와 시각 동사 후보를 바탕으로 액션넷 데이터베이스 스키마를 정의하고 구축한다. 본 논문에서 제안하는 시각 동사 스키마와 이를 바탕으로 하는 액션넷 데이터베이스를 개방형 환경에서 확장하고 활용성을 제고함으로써 동상 이해 기술 발 에 기여할 수 있을 것으로 기한다.

Abstract

Visual information understanding is known as one of the most difficult and challenging problems in the realization of machine intelligence. This paper proposes deriving visual verb and construction of ActionNet database as a video database for video semantic understanding. Even though development ability, research interests shifting to semantic understanding of video contents. This paper proposes candidates of visual verb requiring in the construction of ActionNet as a learning and test database for video understanding. In order to this, we first investigate verb taxonomy in linguistics, and then propose candidates of visual verb from video description database and frequency of verbs. Based on the derived visual verb candidates, we have defined and constructed ActionNet schema and database. According to expanding usability of ActionNet database on open environment, we expect to contribute in the development of video understanding technologies.

참고문헌 (23)

  1. Digital Universe Study: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East, "IDC", IDC, ~ (2012)
  2. "Riding the multimedia big data wave", SIGIR 2013 Keynote, ~ (2013)
  3. David G. Lowe, "Object recognition from local scale-invariant features", Proceedings of the International Conference on Computer Vision, 2, pp.1150~1157 (1999)
  4. Kyuchang Kang, "Challenging Issues in Visual Information Understanding Researches", LNCS, 8936, pp.458~469 (2015)
  5. 이경민, "시선추적 기법을 활용한 발레의 비언어적 스토리텔링 연구", 한국차세대컴퓨팅학회 논문지, 10(4), pp.89~99 (2014), 한국차세대컴퓨팅학회
  6. Yuk Ying Chung, "영상 특징 기반의 3-계층 Haar 웨이블릿 변환을 이용한 비디오 쿼리 알고리즘", 한국차세대컴퓨팅학회 논문지, 12(5), pp.78~86 (2016), 한국차세대컴퓨팅학회
  7. W. Liu, "ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2015", ICCV (2015)
  8. Video and Image Retrieval and Analysis Tool (VIRAT), "DARPA", Broad Agency Announcement, ~ (2008)
  9. DARPA, "Mind’s Eye Program, Broad Agency Announcement", ~ (2010)
  10. G. A. Miller, "WordNet : A Lexical Database for English", Communications of the ACM, 38(11), pp.39~41 (1995)
  11. 선동한, "내용 기반의 부분 검색을 위한 동영상 장기보존 시스템", 한국차세대컴퓨팅학회 논문지, 12(1), pp.45~54 (2016), 한국차세대컴퓨팅학회
  12. 칸 무함마드, "의미적으로 중요한 시각적 내용의 온토로지 기반의 보안검색", 한국차세대컴퓨팅학회 논문지, 11(3), pp.87~96 (2015), 한국차세대컴퓨팅학회
  13. P. Vossen, "EuroWordNet Project", ~ (1999)
  14. K. Ahrens, "From Lexical Semantics to Conceptual Metaphors : Mapping Principle Verification with WordNet and SUMO", Proceedings of the 5th Chinese Lexical Semantics Workshop (CLSW-5) (2004)
  15. J. Ruppenhofer, "FrameNet II: Extended Theory and Practice" (2016)
  16. C. Biemann, "Semiautomatic Extension of CoreNet (Korean WordNet)using a Bootstrapping Mechanism on Corpusbased Co-occurrences", The 20th International Conference on Computational Linguistics (2004)
  17. 황순희, "한국어 수분류사 어휘의미망 KorLexClas 1.5", 정보과학회논문지 : 소프트웨어 및 응용, 37(1), pp.60~73 (2010), 한국정보과학회
  18. 어휘의미 체계 기반 입체적 국어사전 확장, "옥철영", 국립국어원, ~ (2009)
  19. K. Reddy, "Recognizing 50Human Action Categories of Web Videos", Machine Vision and Applications Journal (MVAP) (2012)
  20. S. Sadanand, "Action bank:A high-level representation of activity in video", Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (2012)
  21. K. Kipper, "Extending VerbNet with Novel Verb Classes", Fifth International Conference on Language Resources and Evaluation (LREC 2006) (2006)
  22. A. Rohrbach, "A Dataset for Movie Description", CVPR (2015)
  23. 이숙의, "한국어 동사 온톨로지 구축 연구" (2013), 역락

관련 논문AI추천

로봇 학습을 위한 휴먼 행동 데이터베이스 데이터 검증 및 분석전병태한국지식정보기술학회 · 한국지식정보기술학회 논문지2021 · 제16권 제5호생체 기반 시각정보처리 동작인식 모델링김진옥한국정보처리학회 · 정보처리학회 논문지2014 · 제3권 제8호시맨틱 갭을 줄이기 위한 딥러닝과 행위 온톨로지의 결합 기반 이미지 검색이승, 정혜욱사단법인 인문사회과학기술융합학회 · 예술인문사회 융합 멀티미디어 논문지2019 · 제9권 제11호심층 신경망의 최적화를 통한 소규모 행동 분류 문제의 행동 인식 방법김도연, 김승현, 김연호한국정보처리학회 · 정보처리학회 논문지2017 · 제6권 제3호비디오에서 인간 행동 인식을 위한 주의 모델 기반 잔류 주의 네트워크김지현, 조영임한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2020 · 제25권 제1호순차 데이터간의 유사도 표현에 의한 동영상 분류양지훈, 이호석한국정보처리학회 · 정보처리학회논문지. 컴퓨터 및 통신시스템2018 · 제7권 제1호

이 간행물의 다른 논문 (7건)

모놀리식 애플리케이션의 UML 설계 자료에 기반한 마이크로서비스 구성 방법염근혁, 김대호, 박준석pp. 7-18외부 환경에 강인한 딥러닝 기반 손 제스처 인식이병희, 김태영, 오동한pp. 31-39SSD 캐시를 위한 이웃 프리페칭 기법백승훈pp. 40-52Violence Recognition using Deep CNN for Smart Surveillance Applications이미영, 튜 유 민 울라, 칸 무함마드, 백성욱, aminpp. 53-59SDS 환경의 유사도 기반 클러스터링 및 다중 계층 블룸필터를 활용한 분산 중복제거 기법김덕환, 윤다빈pp. 60-70
원문 보기