소셜 빅데이터의 키워드 분석 정확도를 높이기 위한 복합명사 추출 방법
A Method for Compound Noun Extraction to Improve Accuracy of Keyword Analysis of Social Big Data
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
소셜 빅데이터는 신조어나 고유명사를 포함하는 경우가 많으며, 이들을 처리하기 위해 단어별출현 빈도수를 기반으로 한 통계적인 형태소 분석 방법이 많이 활용되고 있다. 그러나 이들 방법에서는 복합 명사를 제대로 인지하지 못해, 키워드 추출의 정확도가 떨어지는 문제점이 지적되고있다. 본 논문에서는 소셜 빅데이터의 키워드 분석에 있어 복합 명사를 추출하기 위한 방법을 제안한다. 제안 방법은 형태소 분석 단계를 통해 얻어진 단어를 조합하여 복합 명사 후보군을 만들고, 주어진 리뷰에서 이들의 출현 빈도를 조사하여 얻어진 빈도수를 기반으로 복합 명사를 추출한다. 복합 명사 후보군을 구성하는 방법에 따라 두 가지 알고리즘을 제안하였으며, 각 알고리즘의 성능을 수식으로 표현하고 비교한다. 그리고 온라인에서 수집된 실제 데이터를 대상으로 실험을 통해 비교 결과를 검증하는 동시에, 제안 방법이 실시간 처리에도 적합함을 보여준다.
Abstract
Since social big data often includes new words or proper nouns, statistical morphological analysis methods have been widely used to process them properly which are based on the frequency of occurrence of each word. However, these methods do not properly recognize compound nouns, and thus have a problem in that the accuracy of keyword extraction is lowered. This paper presents a method to extract compound nouns in keyword analysis of social big data. The proposed method creates a candidate group of compound nouns by combining the words obtained through the morphological analysis step, and extracts compound nouns by examining their frequency of appearance in a given review. Two algorithms have been proposed according to the method of constructing the candidate group, and the performance of each algorithm is expressed and compared with formulas. The comparison result is verified through experiments on real data collected online, where the results also show that the proposed method is suitable for real-time processing.
참고문헌 (22)
- W. L. Kang, "Reducing IO Cost in OLAP Query Processing with MapReduce", IEICE Trans. Inf. &Syst, E98-D(2), pp.444~447 (2015)
- K. H. Lee, "Parallel Data Processing with MapReduce : a Survey", ACM SIGMOD Record, 40(4), pp.11~20 (2012)
- "IDC Korea"[URL]
- 김현규, "소상공인을 위한 소셜 빅데이터 분석 플랫폼 개발", 한국컴퓨터정보학회논문지, 25(8), pp.65~72 (2020), 한국컴퓨터정보학회[DOI]
- "Kokoma"[URL]
- "Hannanum"[URL]
- Z. Jin, "Unsupervised Segmentation of Chinese Text by Use of Branching Entropy", The Journal of Korea Navigation Institute, pp.428~435 (2006)
- H. J. Kim, "Cleansing Noisy Text Using Corpus Extraction and String Match", MS, pp.2013
- "Cohesion Score"[URL]
- 김현규, "응집도 점수를 기반으로 한 소셜 빅데이터의 효율적인 키워드 추출", 한국컴퓨터정보학회논문지, 25(10), pp.87~94 (2020), 한국컴퓨터정보학회[DOI]
- 유양우, "응집도 점수 기반의 키워드 추출 정확도 향상을 위한 대화형 형태소 분석", 한국컴퓨터정보학회논문지, 25(12), pp.145~153 (2020), 한국컴퓨터정보학회[DOI]
- 서현곤, "SNS를 이용한 잠재적 광고 키워드 추출 시스템 설계 및 구현", 한국융합학회논문지, 9(7), pp.14~24 (2018), 한국융합학회[DOI]
- 이오준, "소셜 빅데이터를 이용한 영화 흥행 요인 분석", 한국콘텐츠학회 논문지, 14(10), pp.527~538 (2014), 한국콘텐츠학회[DOI]
- 이철성, "한글 마이크로블로그 텍스트의 감정 분류 및 분석", 정보과학회논문지 : 데이타베이스, 40(3), pp.159~167 (2013), 한국정보과학회
- J. Y. Chang, "A Sentiment Analysis Algorithm for Automatic Product Reviews Classification in Online Shop ping Mall", 14(4), pp.19~32 (2009)
- C. Park, "Korean Movie Review Sentimental Analysis using RNN-based Variational Inference", Proceedings of the 2018Korea Software Congress, pp.587~589 (2018)
- Y. Oh, "Korean Movie Review Sentiment analysis Using Parallel Stacked Bidirectional LSTM Model", Proceedings of the 2018 Korea Computer Congress, pp.823~825 (2018)
- A. Mousa, "Contextual Bidirectional Long Short-Term Memory Recurrent Neural Network Language Models : A Generative Approach to Sentiment Analysis", Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics(EACL), pp.1023~1032 (2017)
- 김유희, "한국어 단어 이해에 관한 비지도 학습 기반 언어 모델링", 한국컴퓨터정보학회논문지, 24(11), pp.41~49 (2019), 한국컴퓨터정보학회[DOI]
- 김민구, "소셜미디어를 활용한 여행지 평점 예측을 위한 합성곱 신경망 기반의 필터링-스코어링 시스템", 전자공학회논문지, 56(9), pp.43~49 (2019), 대한전자공학회
- J. Yeon, "Characteristic Set and Collaborative Filtering for Review Selection", Proceedings of the 2012 Korea Computer Congress, pp.43~45 (2012)
- E. F. Cardoso, "Towards Automatic Filtering of Fake Review", Journal of Neurocomputing, 309, pp.106~116 (2018)