형태소 분석을 통한 비정형 데이터 분류 연구
A Study on the Classification of Unstructured Data through Morpheme Analysis
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
빅데이터 시대에 접어들며 데이터에 대한 관심이 폭발적으로 늘어나고 있다. 특히, 인터넷 및 소셜미디어의 발전은 새로운 데이터들의 생성으로 연결되어 빅데이터와 인공지능 시대의 실현과 융합 기술의새로운 장을 열 수 있게 되었으며, 과거에는 프로그램으로 다루지 못하던 데이터에 대한 분석 요구가많이 발생하고 있다. 본 논문에서는 빅데이터 시대에서 많이 요구되는 비정형 데이터에 대한 분류를 위하여 분석 모델을 설계하고 이를 검증하였다. 데이터는 디비피아의 논문 요약과 주제어, 그리고 부주제 어를 크롤링하였으며, 코엔엘피의 데이터 사전을 이용해 데이터베이스를 생성하고, 형태소 분석을 통하여 단어의 토큰화 과정을 수행하였다. 또한, 카이스트의 9 품사 분류 체계를 이용해 명사를 추출하고, TF-IDF 값을 생성하였으며, 학습 데이터와Y 값을 결합하여 분석 데이터 셋을 생성하였다. 이와 같이 생성된 분석 데이터 셋에 랜덤 포레스트와 서포트벡터 머신 그리고 의사결정트리, 이렇게 세 가지 분석 알고리즘을 적용하여 분류의 적정성을 측정하였다. 본 논문에서 제안한 분류 모델 기법은 논문 분류 외에도 민원 분류 분석 및 텍스트 관련 분석 등 다양한분야에 유용하게 사용될 수 있다.
Abstract
In the era of big data, interest in data is exploding. In particular, the development of the Internet and social media has led to the creation of new data, enabling the realization of the era of big data and artificial intelligence and opening a new chapter in convergence technology. Also, in the past, there are many demands for analysis of data that could not be handled by programs. In this paper, an analysis model was designed and verified for classification of unstructured data, which is often required in the era of big data. Data crawled DBPia's thesis summary, main words, and sub-keyword, and created a database using KoNLP’s data dictionary, and tokenized words through morpheme analysis. In addition, nouns were extracted using KAIST's 9 part-of-speech classification system, TF-IDF values were generated, and an analysis dataset was created by combining training data and Y values. Finally, The adequacy of classification was measured by applying three analysis algorithms(random forest, SVM, decision tree) to the generated analysis dataset. The classification model technique proposed in this paper can be usefully used in various fields such as civil complaint classification analysis and text-related analysis in addition to thesis classification.
참고문헌 (21)
- Barnett, T. P., "Origins and levels of monthly and seasonal forecast skill for United States surface air temperatures determined by canonical correlation analysis", Monthly Weather Review, 115 (1987)
- Key-Sun Choi, "KAIST tree bank project for Korean: Present and future development", Proceedings of the International Workshop on Sharable Natural Language Resources, pp.7~14 (1994)
- Cho Taeho, "Concepts and Applications of Text Mining", Journal of scientific & technological knowledge infrastructure, (5), pp.76~85 (2001)
- Leo Breiman, "Random Forests", Machine Learning, 45(1), pp.5~32 (2001), Springer Science and Business Media LLC[DOI]
- "Encyclopedia of Mathematics" (2001), SpringerVerlag
- 최윤정, "웹 컨텐츠의 분류를 위한 텍스트마이닝과 데이터마이닝의 통합 방법 연구", 인지과학, 13(3), pp.33~46 (2002), 한국인지과학회
- Hsu, Daniel, "A spectral algorithm for learning hidden markov models", arXiv preprint arXiv:0811.4413, ~ (2008)
- Manning, C. D., "Introduction to Information Retrieval", pp.100~123 (2008), Cambridge University Press
- Douglas, Laney, "3D Data Management: Controlling Data Volume, Velocity and Variety", Gartner. Retrieved February 6, 2001, ~ (2001)
- Beom Jiin, "use cases and implications", CEO Focus, 312 (2013)
- 유은순, "TF-IDF와 소설 텍스트의 구조를 이용한 주제어 추출 연구", 한국컴퓨터정보학회논문지, 20(2), pp.121~129 (2015), 한국컴퓨터정보학회
- Mary Meeker's 2016 internet trends report, , ~
- Bogumił Kamiński, "A framework for sensitivity analysis of decision trees", Central European Journal of Operations Research, 26(1), pp.135~159 (2018), Springer Science and Business Media LLC[DOI]
- 박주석, "빅데이터, 오픈데이터, 마이데이터의 비교 연구", 한국빅데이터학회 학회지, 3(1), pp.41~46 (2018), 사)한국빅데이터학회[DOI]
- Liaw, Andy, "Documentation for R package randomForest", ~ (2018)
- 김현종, "민원 분석을 위한 텍스트 마이닝 기법 연구: 계층적 연관성 분석", 한국산업정보학회논문지, 23(3), pp.13~24 (2018), 한국산업정보학회[DOI]
- Cho ByungSun, "A Comparative Study on Requirements Analysis Techniques using Natural Language Processing and Machine Learning", pp.2020
- Bryan Bischof, "Higher order co-occurrence tensors for hypergraphs via face-splitting", Mathematics, Computer Science (2020)
- 여현진, "SNS 텍스트 마이닝을 이용한 모바일 커머스 브랜드 아이덴티티 전략", 한국컴퓨터정보학회논문지, 25(10), pp.255~260 (2020), 한국컴퓨터정보학회[DOI]