본문 바로가기
KERD
논문

뇌파정보를 활용한 영상물 요약 알고리즘 설계와 평가

Design and Evaluation of Video Summarization Algorithm based on EEG Information

김현희|김용호
한국문헌정보학회|2018.11|한국문헌정보학회지 (Journal of the Korean Society for Library and Information Science)|제52권 제4호|pp. 91-110|DOI http://dx.doi.org/10.4275/KSLIS.2018.52.4.091

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

ERP사건관련유발전위비디오 스킴내재적 평가ERP/MMR 모형주제 적합성 모형외재적 평가ERP/MMR ModelTopic Relevance ModelVideo SkimImplicit EvaluationExplicit Evaluation
주제분류문헌정보학

초록

본 연구는 비디오 스킴의 자동 생성을 위한 비디오 요약 알고리즘을 제안하고 이를 평가하였다. 제안된 알고리즘은 ERP(Event Related Potentials) 기반의 주제 적합성 모형, MMR(Maximal Marginal Relevance) 기법 및 판별분석기법을 사용하여 구현하였다. 제안한 ERP/MMR 기반 알고리즘을 이용하여 구성한 비디오 스킴의 품질과 유용성을 내재적 및 외재적 평가를 통해서 검증하였다. 내재적 및 외재적 평가에서 ERP/MMR 방법들의 평가 점수들은 각각 경쟁 기준으로 사용한 SBD(Shot Boundary Detection) 방법의 평가 점수 보다 유의미한 차이를 보이며 높게 나왔다. 그러나 이 두 평가에서 ERP/MMR(λ=0.6) 방법의 평가 점수와 ERP/MMR(λ=1.0) 방법의 평가 점수 간에 통계적으로 유의미한 차이는 없는 것으로 나타났다.

Abstract

We proposed a video summarization algorithm based on an ERP (Event Related Potentials)-based topic relevance model, a MMR (Maximal Marginal Relevance), and discriminant analysis to generate a semantically meaningful video skim. We then conducted implicit and explicit evaluations to evaluate our proposed ERP/MMR-based method. The results showed that in the implicit and explicit evaluations, the average scores of the ERP / MMR methods were statistically higher than the average score of the SBD (Shot Boundary Detection) method used as a competitive baseline, respectively. However, there was no statistically significant difference between the average score of ERP/MMR (λ = 0.6) method and that of ERP/MMR (λ = 1.0) method in both assessments.

참고문헌 (29)

  1. 권준수, "인지 기능 연구에서의 사건관련전위의 이용", 인지과학작업, 1(1), pp.79~98 (2000)
  2. 김용호, "실시간 뇌파반응을 이용한 주제관련 영상물 쇼트 자동추출기법 개발연구 - ERP의 N400 및 P600 가설검증을 중심으로", 멀티미디어학회논문지, 19(8), pp.1260~1274 (2016), 한국멀티미디어학회[DOI]
  3. 정영미, "정보검색연구" (2012), 연세대학교 대학출판문화원
  4. Allegretti, M., "When Relevance Judgement is Happening?: An EEG-based study", Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp.719~722 (2015), ACM
  5. Burmester, J., "Context Updating during Sentence Comprehension : The Effect of Aboutness Topic", Brain and Language, 137, pp.62~76 (2014)
  6. Carbonell, J., "The Use of MMR, Diversity-based Reranking for Reordering Documents and Producing Summaries", Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp.335~336 (1998), ACM
  7. Chen, F., "An Autonomous Framework to Produce and Distribute Personalized Team-sport Video Summaries : A Basketball Case Study", IEEE Transactions on Multimedia, 13(6), pp.1381~1394 (2011)
  8. Eugster, M. J., "Natural Brain-information Interfaces : Recommending Information by Relevance Inferred from Human Brain Signals", Scientific Reports, 6(38580), pp.1~10 (2016)
  9. Evans, W. J., "Olfactory Event-related Potentials in Normal Human Subjects : Effects of Age and Gender", Electroencephalography and Clinical Neurophysiology, 95(4), pp.293~301 (1995)
  10. Hu, W., "A Survey on Visual Content-based Video Indexing and Retrieval", IEEE Transactions on Systems, Man, and Cybernetics, Part C(Applications and Reviews), 41(6), pp.797~819 (2011)
  11. "Morgan | IBM Creates First Movie Trailer by AI" (2016)[URL]
  12. Kim, H. H., "Toward a Conceptual Framework of Key-frame Extraction and Storyboard Display for Video Summarization", Journal of the Association for Information Science and Technology, 61(5), pp.927~939 (2010)
  13. Lin, C., "ROUGE: A Package for Automatic Evaluation of Summaries", Proceedings of the Workshop on Text Summarization Branches Out (WAS 2004) (2004)
  14. Luck, S. J., "An Introduction to the Event-related Potential Technique" (2014), MIT press
  15. Mayer, R. E., "Multimedia Learning" (2009), Cambridge University Press
  16. Mehmood, I., "Divide-and-conquer based Summarization Framework for Extracting Affective Video Content", Neurocomputing, 174, pp.393~403 (2016)
  17. Mishra, R., "Real time and Non Real time Video Shot Boundary Detection using Dual Tree Complex Wavelet Transform", 2015 International Conference on Industrial Instrumentation and Control, pp.1495~1500 (2015), ICIC
  18. Mostafa, J., "Deepening the Role of the User: Neuro-Physiological Evidence as a Basis for Studying and Improving Search", Proceedings of the 2016 ACM on Conference on Human Information Interaction and Retrieval, pp.63~70 (2016), ACM
  19. Mudrik, L., "Synchronous Contextual Irregularities Affect Early Scene Processing : Replication and Extension", Neuropsychologia, 56, pp.447~458 (2014)
  20. Nakano, H., "Electrophysiological Response to Omitted Stimulus in Sentence Processing", NeuroReport, 25(14), pp.1169~1174 (2014)
  21. Over, P., "The TRECVid 2008 BBC Rushes Summarization Evaluation", Proceedings of the 2nd ACM TRECVid Video Summarization Workshop, pp.1~20 (2008), ACM
  22. Schumacher, P. B., "Positional Influences on Information Packaging : Insights from Topological Fields in German", Journal of Memory and Language, 67(2), pp.295~310 (2012)
  23. Seoane, L. F., "Images from the Mind : BCI Image Evolution based on Rapid Serial Visual Presentation of Polygon Primitives", Brain-Computer Interfaces, 2(1), pp.40~56 (2015)
  24. Sitnikova, T., "Two Neurocognitive Mechanisms of Semantic Integration during the Comprehension of Visual Real-world Events", Journal of Cognitive Neuroscience, 20(11), pp.2037~2057 (2008)
  25. Tavassolipour, M., "Event Detection and Summarization in Soccer Videos using Bayesian Network and Copula", IEEE Transactions on Circuits and Systems for Video technology, 24(2), pp.291~304 (2014)
  26. Wang, L., "New is not always Costly : Evidence from Online Processing of Topic and Contrast in Japanese", Frontiers in Psychology, 4, pp.363~ (2013)
  27. Xu, R., "Enhanced low-latency Detection of Motor Intention from EEG for Closedloop Brain-computer Interface Applications", IEEE Transactions on Biomedical Engineering, 61(2), pp.288~296 (2014)
  28. Yang, J., "Channel Selection and Classification of Electroencephalogram Signals : An Artificial Neural Network and Genetic Algorithm-based Approach", Artificial Intelligence in Medicine, 55(2), pp.117~126 (2012)
  29. Zhu, X., "A Text-to-picture Synthesis System for Augmenting Communication", Proceedings of the 22nd National Conference on Artificial Intelligence, 2, pp.1590~1595 (2007), AAAI Press

관련 논문AI추천

시선추적-뇌파 기반의 비디오 요약 생성 방안 연구김용호, 김현희한국문헌정보학회 · 한국문헌정보학회지2022 · 제56권 제1호이용자 기반의 비디오 키프레임 자동 추출을 위한 뇌파측정기술(EEG) 적용김용호, 김현희한국문헌정보학회 · 한국문헌정보학회지2015 · 제49권 제1호뇌파측정기술(EEG)과 판별분석을 이용한 영상물의 키프레임 자동 분류 방안 연구김현희한국정보관리학회 · 정보관리학회지2015 · 제32권 제3호뇌파측정기술을 활용한 언어 기반 사운드 요약의 생성 방안 연구김용호, 김현희한국정보관리학회 · 정보관리학회지2019 · 제36권 제3호뇌파측정기술(EEG)에 기초한 멀티미디어 자료의 주제 적합성에 관한 연구김용호, 김현희한국문헌정보학회 · 한국문헌정보학회지2016 · 제50권 제3호뇌파, 시선추적 및 인공지능 기술에 기반한 디지털 도서관 인터페이스 연구: 암묵적 적합성 피드백 활용을 중심으로김용호, 김현희한국정보관리학회 · 정보관리학회지2024 · 제41권 제1호

이 간행물의 다른 논문 (8건)

국가 정책정보 수집력 확대를 위한 기증수요 분석- 국가정책정보협의회 회원기관을 중심으로 -김신영, 오선경, 윤희윤pp. 5-26공공도서관 이용을 통한 정보공유가 사회자본 형성에 미치는 영향이승민pp. 27-49공공도서관 테마 컬렉션의 기능과 특성- 이용자 중심 분류의 관점에서 -백지원pp. 51-69출판년도의 즉시 인용빈도를 포함하는 학술지 인용지수 개발이재윤pp. 71-90대국민서비스를 위한 헌법재판소 도서관의 핵심가치 도출에 관한 연구최만호, 안인자, 노영희, 노지윤pp. 111-135
원문 보기