실시간 이슈 탐지를 위한 일반-급상승 단어사전 생성 및 매칭 기법
A Generation and Matching Method of Normal-Transient Dictionary for Realtime Topic Detection
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
트위터는 사용자들에게 정보를 받거나 교환하는 채널로써의 역할이 활발히 이루어지고 있고 새로운 사건이 발생했을 때 빠르게 반응하기 때문에 지진이나 홍수, 자살 등의 새로운 사건을 탐지하는 센서역할로 활용할 수 있다. 그리고 사건을 탐지하기 위해서 우선적으로 관련된 트윗 추출이 필수적이다. 하지만 관련된 트윗을 찾기 위해 관련 키워드를 포함한 트윗을 추출하기 때문에 해당 키워드가 없지만 의미적으로 사건과 관련이 있는 트윗은 찾지 못하는 문제점이 있다. 또한 기존의 연구들은 디스크에 저장된 데이터에 대한 분석이 주를 이루고 있어 원하는 결과를 얻기위해서는 데이터를 수집하여 저장하고 분석에 이르기까지 오랜 시간이 소모된다. 이러한 문제점을 해결하기 위해 본연구에서는 실시간 이슈 탐지를 위한 일반-급상승 단어 사전 생성 및 매칭 기법을 제안한다. 데이터 스트림 인메모리 기반으로 일반-급상승 단어 사전을 생성 및 관리하기 때문에 새로운 사건을 빠르게 학습하고 대응할 수 있다. 또한 분석을 원하는 주제의 일반 사전과 급상승 사전을 동시에 관리하기 때문에 기존의 방법으로 찾지 못하는 트윗을검출해 낼 수 있다. 본 연구를 통해 빠른 정보와 대응이 필요한 분야에 즉시적으로 활용할 수 있다.
Abstract
Recently, the number of SNS user has rapidly increased due to smart device industry development and also the amount of generated data is exponentially increasing. In the twitter, Text data generated by user is a key issue to research because it involves events, accidents, reputations of products, and brand images. Twitter has become a channel for users to receive and exchange information. An important characteristic of Twitter is its realtime. Earthquakes, floods and suicides event among the various events should be analyzed rapidly for immediately applying to events. It is necessary to collect tweets related to the event in order to analyze the events. But it is difficult to find all tweets related to the event using normal keywords. In order to solve such a mentioned above, this paper proposes A Generation and Matching Method of Normal-Transient Dictionary for realtime topic detection. Normal dictionaries consist of general keywords(event: suicide-death-loop, death, die, hang oneself, etc) related to events. Whereas transient dictionaries consist of transient keywords(event: suicide–names and information of celebrities, information of social issues) related to events. Experimental results show that matching method using two dictionary finds more tweets related to the event than a simple keyword search.
참고문헌 (15)
- Rui Li, "TEDAS : a Twitter-based Event Detection and Analysis System", In Proceedings of the 28th International Conference on Data Engineering, pp.1273~1276 (2012)
- Takeshi Sakaki, "Tweet Analysis for Real-Time Event Detection and Earthquake Reporting System Development", Journal of the IEEE Transactions on Knowledge and Data Eegineering, 25(4) (2013)
- G. S. Manku, "Approximate Frequency Counts over Data Streams", In Proceedings of the 28th International Conference on Very Large Databases, pp.346~357 (2002)
- HOFMANN, "Probabilistic latent semantic indexing", In Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval, pp.50~57 (1999)
- David M. Blei, "Latent dirichlet allocation", Journal of machine Learning research, pp.993~1022 (2003)
- Matthew D. Hoffman, "Online Learning for Latent Dirichlet Allocation", Electronic Proceedings of the Neural Information Processing Systems Conference (2010)
- 이동주, "꼬꼬마 : 관계형 데이터베이스를 활용한 세종 말뭉치 활용 도구", 정보과학회 컴퓨팅의 실제 논문지, 16(11), pp.1046~1050 (2010), 한국정보과학회
- Ke Zhai, "Online Latent Dirichlet Allocation with Infinite Vocabulary", JMLR W&CP, 28(1), pp.561~569 (2013)
- Joong Hyuk Chang, "Finding frequent itemsets over online data streams", Information and Software Technology, 48(7), pp.606~618 (2006)
- 허성찬, "사전기반으로 압축된 텍스트에 대한 압축패턴매칭", 한국차세대컴퓨팅학회 논문지, 12(1), pp.67~74 (2016), 한국차세대컴퓨팅학회
- 강상우, "반복적 기법을 사용한 그래프 기반 단어 모호성 해소", 한국차세대컴퓨팅학회 논문지, 13(2), pp.102~110 (2017), 한국차세대컴퓨팅학회
- 이선정, "대용량 고립단어 언어처리를 위한 통계적 방안 연구", 한국차세대컴퓨팅학회 논문지, 9(1), pp.17~24 (2013), 한국차세대컴퓨팅학회