응집도 점수 기반의 키워드 추출 정확도 향상을 위한 대화형 형태소 분석
Interactive Morphological Analysis to Improve Accuracy of Keyword Extraction Based on Cohesion Scoring
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
최근 소셜 빅데이터를 대상으로 한 키워드 분석은 고객 관점의 의견이나 불만 사항을 추출하기위한 목적으로 광범위하게 활용되고 있다. 이와 관련하여, 이전 연구에서는 키워드 분석의 정확도를 높이기 위해 응집도 점수를 활용한 방법을 제안하였으나, 리뷰의 수가 적을 경우 오류율이 증가하는 문제가 있었다. 본 논문에서는 응집도 점수 기반 알고리즘으로부터 추출된 키워드에 대해간소화된 형태소 분석 단계를 후처리 형태로 적용함으로써 키워드 추출의 정확도를 개선하고자하였다. 제안 방법은 입력 데이터가 주어질 때마다 필요한 형태소 분석 규칙을 점증적으로 추가할 수 있도록 지원함으로써, 사전의 크기를 최소화하고 분석의 효율을 높이고자 하였다. 또한 대화형 규칙 입력 시스템을 제공하여 분석 규칙 추가에 드는 노력을 최소화하고자 하였다. 제안 방법을 검증하기 위해 온라인에서 수집된 실제 리뷰를 대상으로 실험을 수행하였으며, 제안 방법을적용할 경우 오류율이 기존 10%에서 1%로 개선되는 동시에, 5,000개의 리뷰 처리에 450ms가 소요되어 실시간 처리가 가능한 수준임을 확인하였다.
Abstract
Recently, keyword extraction from social big data has been widely used for the purpose of extracting opinions or complaints from the user’s perspective. Regarding this, our previous work suggested a method to improve accuracy of keyword extraction based on the notion of cohesion scoring, but its accuracy can be degraded when the number of input reviews is relatively small. This paper presents a method to resolve this issue by applying simplified morphological analysis as a postprocessing step to extracted keywords generated from the algorithm discussed in the previous work. The proposed method enables to add analysis rules necessary to process input data incrementally whenever new data arrives, which leads to reduction of a dictionary size and improvement of analysis efficiency. In addition, an interactive rule adder is provided to minimize efforts to add new rules. To verify performance of the proposed method, experiments were conducted based on real social reviews collected from online, where the results showed that error ratio was reduced from 10% to 1% by applying our method and it took 450 milliseconds to process 5,000 reviews, which means that keyword extraction can be performed in a timely manner in the proposed method.
참고문헌 (19)
- 김현규, "소상공인을 위한 소셜 빅데이터 분석 플랫폼 개발", 한국컴퓨터정보학회논문지, 25(8), pp.65~72 (2020), 한국컴퓨터정보학회[DOI]
- W. L. Kang, "Reducing IO Cost in OLAP Query Processing with MapReduce", IEICE Trans. Inf. &Syst, E98-D, pp.444~447 (2015)
- "Naver Open API"[URL]
- "Google Developer API"[URL]
- "Kokoma"[URL]
- 김현규, "응집도 점수를 기반으로 한 소셜 빅데이터의 효율적인 키워드 추출", 한국컴퓨터정보학회논문지, 25(10), pp.87~94 (2020), 한국컴퓨터정보학회[DOI]
- H. Lim, "An Efficient Korean Morphological Analyzer using Exclusive Information", Journal of KIISE, 22(6), pp.957~964 (1995)
- Y. Kim, "Improvement of Analysis Speed in Korean Morphologlcal Analyzer Using Ameliorated Dictionary", Proc. of the 11th Hangul and Korean Information Processing, pp.479~483 (1999)
- S. H. Yang, "A High-Speed Korean Morphological Analysis Method based on Pre-Analyzed Partial Words", Journal of KIISE, 27(3), pp.290~301 (2000)
- 서현곤, "SNS를 이용한 잠재적 광고 키워드 추출 시스템 설계 및 구현", 한국융합학회논문지, 9(7), pp.14~24 (2018), 한국융합학회[DOI]
- 이오준, "소셜 빅데이터를 이용한 영화 흥행 요인 분석", 한국콘텐츠학회 논문지, 14(10), pp.527~538 (2014), 한국콘텐츠학회[DOI]
- 이철성, "한글 마이크로블로그 텍스트의 감정 분류 및 분석", 정보과학회논문지 : 데이타베이스, 40(3), pp.159~167 (2013), 한국정보과학회
- 장재영, "온라인 쇼핑몰의 상품평 자동분류를 위한 감성분석 알고리즘", 한국전자거래학회지, 14(4), pp.19~33 (2009), 한국전자거래학회
- "Hannanum"[URL]
- Z. Jin, "Unsupervised Segmentatino of Chinese Text by Use of Branching Entropy", The Journal of Korea Navigation Institute, pp.428~435 (2006)
- 김현중, "단어 추출과 스트링 매치를 이용한 수기 입력 텍스트의 노이즈 처리", 석사, 산업공학과 데이터마이닝전공, pp.2013
- "Cohesion Score"[URL]
- "Soynlp"[URL]
- 김유희, "한국어 단어 이해에 관한 비지도 학습 기반 언어 모델링", 한국컴퓨터정보학회논문지, 24(11), pp.41~49 (2019), 한국컴퓨터정보학회[DOI]