딥 러닝 기법을 이용한 오피니언 마이닝 분석과 성과에 관한 실증연구: 합성곱 신경망 모델과 머신러닝 모델간 성과비교를 중심으로
Exploring the Performance of Deep Learning-driven Opinion Mining Analyses: Emphasis on Comparing Convolutional Neural Network Model and Machine Learning Classifiers
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 딥 러닝 기법인 합성곱 신경망 (CNN: Convolutional Neural Network)을 이용하여 금융자료에 관한 사용자의 오피니언을 추정하는 오피니언 마이닝 (Opinion mining) 방법과 그 결과를 설명한다. 본 연구에서는 다음과 같이 합성곱 신경망의 효과성을 검증하였다. 첫째, 스터디1은 주식관련 온라인 리뷰 데이터를 분석하였다. 즉, 형태소 분석단계를 거쳐 속성벡터를 만들어 리뷰 문장의 감성점수를 산출하였다. 해당 문장의 감성점수에 따라 오피니언을 3-클라스, 5-클라스 문제로 구분하여 실증분석을 하였다. 둘째, 스터디2에서는 청와대 국민청원에 게시된 금융관련 국민청원 텍스트 문장을 분석하여 청원인원을 추정하였다. 청원게시판에 등재된 청원 인원을 분위 수에 따라 분류하여 2-클라스 문제 (50%이상, 50% 미만) 4-클라스 문제 (75%이상, 50%이상, 25%이상, 25%미만)로 분류하였다. 스터디1, 2의 실증분석결과 정확도, 정밀도, 재현율, F1 점수 등 모든 성과지표에서 벤치마킹용 분류기와 비교할 때 합성곱 신경망이 더 우수한 성과를 보였다. 따라서, 합성곱 신경망을 이용함으로써 금융감독 관련 정책 및 활동을 효과적으로 수행할 수 있음을 실증적으로 확인하였다.
Abstract
This study proposes a deep learning approach called CNN (convolutional neural network) to investigate opinion mining analysis with financial information dataset. For the sake of conducting required analysis, this study collected two types of financial information dataset-(1) stock investment information dataset, and (2) financial products-related complaints dataset posted at the public petition of the Presidential Office. To implement the proposed CNN model, we used tensorflow algorithm and coded in Python. Korean sentiment words corpus used for this study was based on KNUSL. The opinion mining procedures were composed of preprocessing, vectorization feature set, and polarity score calculation. The performance metrics used for this study are accuracy, precision, recall, and F1-score. The performance of the proposed CNN model showed outstanding results compared with the machine learning benchmarking classifiers. Our empirical results turned out to be very meaningful from the perspective of financial supervisory policy-making and activities as well.
참고문헌 (38)
- 김문형, "KOSAC(Korean Sentiment Analysis Corpus) : 한국어 감정 및 의견분석 코퍼스", 한국컴퓨터종합학술대회 논문집, pp.650~652 (2013)
- 김유신, "오피니언 마이닝을 이용한 지능형 VOC 분석시스템", 지능정보연구, 19(3), pp.113~125 (2013), 한국지능정보시스템학회[DOI]
- 김승수, "비정형 정보와 CNN 기법을 활용한 이진 분류 모델의고객 행태 예측: 전자상거래 사례를 중심으로", 지능정보연구, 24(2), pp.221~241 (2018), 한국지능정보시스템학회[DOI]
- 방상완, "합성곱 신경망을 이용한 이미지 기반 화재 감지 시스템의 구현", 한국전자통신학회 논문지, 12(2), pp.331~336 (2017), 한국전자통신학회[DOI]
- 신효필, "한국어 감정분석 코퍼스를 활용한 양상정보 기반의 감정분석 연구", 언어학, (74), pp.93~114 (2016), 사단법인 한국언어학회[DOI]
- 이모세, "효과적인 입력변수 패턴 학습을 위한 시계열 그래프 기반합성곱 신경망 모형: 주식시장 예측에의 응용", 지능정보연구, 24(1), pp.167~181 (2018), 한국지능정보시스템학회[DOI]
- 이성복, "금융민원 데이터 활용방안 및 금융사고 사례별 효과분석", 금융감독연구, 4(1), pp.57~98 (2017), 금융감독원[DOI]
- 조영복, "초음파 영상에서 질병 추출을 위한Keras 기반의 CNN 모델", 디지털콘텐츠학회논문지, 19(10), pp.1975~1980 (2018), 한국디지털콘텐츠학회[DOI]
- 최은정, "오피니언마이닝을 이용한 사용자 맞춤 장소 추천 시스템", 한국정보통신학회논문지, 21(11), pp.2043~2051 (2017), 한국정보통신학회[DOI]
- 최학영, "전자부품의 표면 결함 검출을 위한 CNN 기법", 한국지능시스템학회 논문지, 27(3), pp.195~200 (2017), 한국지능시스템학회
- Arlot, S., "A survey of cross-validation procedures for model selection", Statistics Surveys, 4, pp.40~79 (2010)
- 배은찬, "앙상블 데이터마이닝 기법을 이용한 주식유동성 예측성과에 관한 실증연구", 한국컴퓨터정보학회논문지, 21(6), pp.9~19 (2016), 한국컴퓨터정보학회
- Ballings, M., "Evaluating multiple classifiers for stock price direction prediction", Expert Systems with Applications, 42(20), pp.7046~7056 (2015)
- Choi, S., "An exploratory approach to the computational quantification of journalistic values", Online Information Review, 43(1), pp.133~148 (2018)
- Da Silva, N. F. F., "Tweet sentiment analysis with classifier ensembles", Decision Support Systems, 66, pp.170~179 (2014)
- Deng, S., "Adapting sentiment lexicons to domain-specific social media texts", Decision Support Systems, 94, pp.65~76 (2017)
- Diniz, P. H. B., "Detection of white matter lesion regions in MRI using SLIC0 and convolutional neural network", Computer Methods and Programs in Biomedicine, 167, pp.49~63 (2018)
- Freund, Y., "A decision-theoretic generalization of on-line learning and an application to boosting", Journal of Computer and System Sciences, 55(1), pp.119~139 (1997)
- García-Pablos, A., "W2vlda: almost unsupervised system for aspect based sentiment analysis", Expert Systems with Applications, 91, pp.127~137 (2018)
- Hall, M.A, "Correlation-based feature subset selection for machine learning" (1998), Hamilton
- Kang, M., "Opinion mining using ensemble text hidden Markov models for text classification", Expert Systems with Applications, 94, pp.218~227 (2018)
- Kingma, D. P., "Adam : A method for stochastic optimization", Proceedings of the International Conference on Learning Representations (ICLR 2015), pp.1~15 (2014)
- Kim, Y., "Convolutional neural networks for sentence classification", Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.1746~1751 (2014), Association for Computational Linguistics
- Larsson, M., "Robust abdominal organ segmentation using regional convolutional neural networks", Applied Soft Computing, 70, pp.465~471 (2018)
- LeCun, Y., "Gradient-based learning applied to document recognition", Proceedings of the IEEE, 86(11), pp.2278~2324 (1998)
- Mantyla, M. V., "The evolution of sentiment analysis—a review of research topics, venues, and top cited papers", Computer Science Review, 27, pp.16~32 (2018)
- Manning, C.D., "Introduction to information retrieval" (2008), Cambridge University Press
- Menard, S., "Applied logistic regression analysis" (2002), Sage
- Oliveira, A. F. M., "Retinal vessel segmentation based on fully convolutional neural networks", Expert Systems with Applications, 112(1), pp.229~242 (2018)
- Olson, D. L., "Comparative analysis of data mining methods for bankruptcy prediction", Decision Support Systems, 52(2), pp.464~473 (2012)
- Pang, B., "Opinion mining and sentiment analysis", Foundations and Trends in Information Retrieval, 2(1-2), pp.1~135 (2008)
- Piñeiro-Chousa, J. R., "Examining the influence of stock market variables on microblogging sentiment", Journal of Business Research, 69(6), pp.2087~2092 (2016)
- Shin, H., "Annotation scheme for constructing sentiment corpus in Korean", Proceedings of the 26th Pacific Asia Conference on Language, Information and Computation, pp.181~190 (2012)
- Wang, G., "Sentiment classification: The contribution of ensemble learning", Decision Support Systems, 57, pp.77~93 (2014)
- Yadollahi, A., "Current state of text sentiment analysis from opinion to emotion mining", ACM Computing Surveys (CSUR), 50(2), pp.25~ (2017)
- Yang, X., "Sentiment analysis of weibo comment texts based on extended vocabulary and convolutional neural network", Procedia Computer Science, 147, pp.361~368 (2019)
- Yoo, S., "Social media contents based sentiment analysis and prediction system", Expert Systems with Applications, 105, pp.102~111 (2018)
- Zheng, Y., "Airline passenger profiling based on fuzzy deep machine learning", IEEE Transactions on Neural Networks and Learning Systems, 28(12), pp.2911~2923 (2017)