RandomForest와 XGBoost를 활용한 한국어 텍스트 분류: 서울특별시 응답소 민원 데이터를 중심으로
Korean Text Classification Using Randomforest and XGBoost Focusing on Seoul Metropolitan Civil Complaint Data
0
조회
0
다운로드
12
인용
0
참고문헌
키워드
초록
2014년 서울시는 시민의 목소리에 신속한 응대를 목표로 ‘서울특별시 응답소’ 서비스를 시작하였다. 접수된 민원은 내용을 바탕으로 카테고리 확인 및 담당부서로 분류 되는데, 이 부분을 자동화시킬 수 있다면 시간및 인력 비용이 감소될 것이다. 본 연구는 2010년 6월 1일부터 2017년 5월 31일까지 7년치 민원 사례 17,700건의 데이터를 수집하여, 최근 화두가 되고 있는 XGBoost 모델을 기존 RandomForest 모델과 비교하여 한국어 텍스트 분류의 적합성을 확인하였다. 그 결과 RandomForest에 대비 XGBoost의 정확도가 전반적으로 높게 나타났다. 동일한 표본을 활용하여 업 샘플링과 다운 샘플링 시행 후에는 RandomForest의 정확도가 불안정하게 나타난 반면, XGBoost는 전반적으로 안정적인 정확도를 보였다.
Abstract
In 2014, Seoul Metropolitan Government launched a response service aimed at responding promptly to civil complaints. The complaints received are categorized based on their content and sent to the department in charge. If this part can be automated, the time and labor costs will be reduced. In this study, we collected 17,700 cases of complaints for 7 years from June 1, 2010 to May 31, 2017. We compared the XGBoost with RandomForest and confirmed the suitability of Korean text classification. As a result, the accuracy of XGBoost compared to RandomForest is generally high. The accuracy of RandomForest was unstable after upsampling and downsampling using the same sample, while XGBoost showed stable overall accuracy.
참고문헌 (30)
- 강승식, "형태소 분석 결과의 인코딩 기법과 어절 사전 구축", 한국정보과학회 언어공학연구회 학술발표논문집, 16(1), pp.112~117 (2004)
- 김성표, "공간 빅데이터를 활용한 환경민원 분석에 관한 연구", 15(2), pp.333~334 (2015), 한국측량학회
- 김수아, "다양한 어휘 가중치를 이용한 블로그 포스트의 자동 분류", 한국마린엔지니어링학회지, 39(1), pp.58~62 (2015), 한국마린엔지니어링학회[DOI]
- 손남례, "공공민원 빅데이터 분석을 통한 민원통계 및담당부서 자동분류 시스템", 한국차세대컴퓨팅학회 논문지, 13(1), pp.22~35 (2017), 한국차세대컴퓨팅학회
- 송효진, "정부 3.0 추진에 따른 공공데이터 개방과 지방정부의 방향성 모색: 공공데이터법에 관한 이해와 개방 사례를 중심으로", 한국지역정보화학회지, 17(2), pp.1~28 (2014), 한국지역정보화학회
- 원태홍, "진주시 전자민원 추이분석", 한국지형공간정보학회 춘계학술대회논문집, pp.106~109 (2016)
- 유진은, "랜덤 포레스트: 의사결정나무의 대안으로서의 데이터 마이닝 기법", 교육평가연구, 28(2), pp.427~448 (2015), 한국교육평가학회
- 조응래, "경기도 교통불편 민원의 효율적인 처리방안", 정책연구, pp.1~76 (2016)
- 최해옥, "환경·위생분야 민원분석을 통한 정책우선순위 결정에관한 연구", 환경정책, 24(2), pp.45~57 (2016), 한국환경정책학회[DOI]
- Amor, N. B., "Naive Bayes vs Decision Trees in Intrusion Detection Systems", ACM Symposium on Applied Computing, pp.420~424 (2004)
- "Random Forests" (2014)[URL]
- Breiman, L., "Random Forests", Machine Learning, 45, pp.5~32 (2001)
- Bylander, T., "Estimation Generalization Error on Two-Class Datasets Using Out-of-Bag Estimates", Machine Learning, 48, pp.287~297 (2002)
- Chen, T., "XGBoost: A Scalable Tree Boosting System", KDD’16, pp.785~794 (2016)
- Chen, T., "XGBoost: Reliable Large-sclae Tree Boosting System", ~ (2017)
- Chen, W., "Forested Landslide Detection using LiDAR data and the Random Forest Algorithm: A Case Study of the Three Gorges, China", Remote Sensing of Environment, 152, pp.291~301 (2014)
- Fragos, K., "Combining Probabilistic Classifiers for Text Classification", Procedia-Social and Behavioral Sciences, 147, pp.307~312 (2014)
- Friedman, J. H., "Greedy Function Approximation: A Gradient Boosting Machine", The Annals of Statistics, 29, pp.1189~1232 (2001)
- Hebert, J., "Predicting Rare Failure Event using Classification Trees on Large Scale Manufacturing Data with Complex Interactions", IEEE International Conference on Big Data, pp.2024~2028 (2016)
- 서울시 전자정부 우수사례 연구보고서, "Holzer, M.", Rutgers University School of Public Affairs and Administration, ~ (2016)
- "XGBoost 공식 홈페이지"[URL]
- Kibinge, N., "Integration of Residue Attributes for Sequence Diversity Characterization of Terpenoid Enzymes", BioMed Research International, 2014, pp.1~10 (2014)
- K-ICT 빅데이터센터, "NIADic tutorial", ~ (2017)
- Kohavi, R., "A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection", Appears in the Internationa l Joint Conference on Artificial Intelligence (1995)
- Pal, M., "Random Forest Classifier for Remote Sensing Classification", International Journal of Remote Sensing, 26(1), pp.217~ (2005)
- Refaeilzadeh, P., "Cross-Validation", pp.532~538 (2009), Encyclopedia of Database Systems
- Rodriguez-Galiano, V. F., "Random Forest Classification of Mediterranean Land Cover using Multi-seasonal Imagery and Multi-seasonal Texture", Remote Sensing of Environment, 121, pp.93~107 (2012)
- Siroky, D. S., "Navigating Random Forests and related advances in algorithmic modeling", Statistics Surveys, 3, pp.147~163 (2009)
- Tang, B., "A Bayesian Classification Approach Using Class-Specific Features for Text Categorization", IEEE Transactions on Knowledge and Data Engineering, 28(6), pp.1602~1606 (2016)
- Zhang, X., "Advances in neural information processing systems", pp.649~657 (2015)