개인 라이프로그를 위한 음향기반의 멀티모달 시스템
Multimodal System with Sound-based Interaction for Personal Life-Log
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 개인 라이프로그 시스템을 위한 음향기반의 멀티모달 시스템을 제안한다. 효과적인 상황인식추론을 위해서 기존의 음향신호에 사람의 행동 데이터를 추가하여 보다 정확하고 견고한 멀티모달기반의 시스템을 제시한다. 멀티모달기반의 인식 시스템의 핵심인 특징 벡터는 블루투스 헤드셋으로부터 입력받은 마이크 입력신호와 행동센서 데이터를 기반으로 추출되어 환경인식을 수행하며 추가적으로 성별인식 및 화자인식을 적용하여 최종적인 라이프로그를 위한 멀티모달 시스템을 완성하였으며 다양한 실험 환경에서 제안된 시스템이 우수한 성능을 나타내었다.
Abstract
In this paper, we propose a multimodal system in sound-based interaction for the personal life log system. For effective environmental classification, we incorporate the activity data to the conventional acoustical data for the robust multi-modal system. Relevant features are constructed from the microphone input signal from the bluetooth headset and the activity sensor for the environmental classification, gender identification and speaker recognition. Various experiments demonstrate the superiority of the proposed system.
참고문헌 (16)
- J. Gemmell, "My LifeBits: Fulfilling the memex vision", ACM Multimedia, 235~238 (2002)
- A. Fitzgibbon, "Memories for life': Managing information over a human lifetime", UK Computing Research Committee Grand Challenge proposal, ~ (2003)
- S. Vemuri, "Next-generation personal memory aids", BT Technology, 22(4), pp.125~138 (2004)
- C. Dickie, "Augmenting and sharing memory with eyeBlog", 1st ACM Workshop on Continuous Archivaland Retrieval of Personal Experiences, pp.105~109 (2004)
- L. B. Mark, "Real-time context recognition", 석사, pp.2005
- N.S Kim, "Spectral enhancement based on global soft decision", IEEE Signal Processing Letters, 7(5), pp.108~110 (2000)
- L. Ma, "Acoustic environment classification", ACM Transactionson Speech and Language Processing, 3(2), pp.1~22 (2006)
- Y. Toyoda, "Environmental sound recognition by multilayered neural networks", 4th International Conference on Computer and Information Technology, pp.123~127 (2004)
- E. S. Parris, "Language independent gender identification", IEEE International Conference on Acoustics, Speech, and Signal Processing, 2, pp.685~688 (1996)
- H. Harb, "Gender identification using a general audio classifier", IEEE International Conference on Multimedia and Expo, 2, pp.733~736 (2003)
- R. C. Rose, "Text-independent speaker identification using automatic acoustic segmentation", IEEE International Conference on Acoustics, Speech, and Signal Processing, pp.293~196 (1990)
- D. A. Reynolds, "Speaker verification using adapted Gaussian mixture models", Digital Signal Processing, 10(1), pp.19~41 (2000)
- C. M. Bishop, "Neural networks for pattern recognition" (1995), Oxford University Press
- R. O. Duda, "Pattern classification" (2001), John Wiley & Sons, INC
- G. Xuan, "EM algorithms of Gaussian mixture model and hidden Markov model", International Conference on Image Processing, 1, pp.145~148 (2001)
- J. A. Bilmes, "A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian mixed and hidden Markov Models", U.C. Berkely, ~ (1998)