국방분야 빅데이터 분석을 위한 자연어 사전 구축
Building a Natural Language Processing Dictionary for Analysing Military Areas’ Bigdata
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
국방분야의 비정형 텍스트를 사용한 분석은 향후 다양한 영역에서 활용될 수 있는 유용한 방법이다. 하지만, 오픈소스 형태의 형태소 분석기를 사용하여 국방분야의 빅데이터를 분석할 경우, 국방과 관련한 선행학습 데이터가 없으므로 국방과 관련한 단어를 잘못 해석하여 연구 결과의 편향을 유발할 수 있다. 따라서, 적은 시간과 비용을 소모하면서 국방영역에서의 자연어 처리 중에 발생할 수 있는 편향을 줄이는 방법으로 국방영역 자연어 사전을 구축하는 방법을 제안하고자 하였다. 연구는 인터넷에 공개된 5종의 국방 및 군사 관련 사전의 단어를 모아 20,875개의 단어로 구성된 자연어 사전을 구축하였다. 해당 사전을 학습한 1개의 형태소 분석기 모델과 학습하지 않은 5종류의 형태소 분석기에서 국방관련 단어 식별률을 분석한 결과 동일한 분석기에서는 식별률이 약 73% 가량 향상되었고, 다른 모델과 비교할 때에서 6 ~ 88% 내에서 우수한 성능을 보였다. 이러한 연구결과는 국방분야의 비정형 텍스트 데이터를 활용하고자 할 때 국방사전을 구축 및 활용할 경우 연구결과의 편향을 낮출 수 있다는 것을 보여준다.
Abstract
Analysis using defense Areas’ unstructured textual data is a useful method to be used in a variety of areas in the future. However, if bigdata in the defense area is analyzed using open-source types’ machine learning morphological analyzer, the absence of prior learning data related to defense can cause bias by misinterpreting words. Therefore, it was intended to suggest how to build a natural language dictionary in the defense area in a method that would reduce the bias generated by natural language processing in the defense area while using low time and cost. The study collected words in five dictionaries related to national defense and military, which were released on the Internet, and established a natural language dictionary consisting of 20,875 words. An analysis of the identification rates of defense-related words from five types of morphological analyzer, learned from the corresponding dictionary showed that the word identification rate in the same model improved by about 73% and performed about 6% to 88% better than other models. The results of the study suggest that there is a need to reduce research bias by building and utilizing defense dictionaries when using methodologies utilizing unstructured text data.
참고문헌 (26)
- 국립국어원, "21세기 세종계획 국어 기초자료 구축" (2007), 현대문화사
- "2020년 국방부 업무보고 : 국민과 함께 평화를 만드는 강한 국방" (2020)[URL]
- 김노은, "데이터 기반 형태소 분석기의 신규명사 추출 경향 분석", 한국정보과학회 학술발표논문집, pp.1421~1423 (2019)
- 김은주, "형태소 분석을 이용한 발화관련 기기의 새로운 입력 키워드 추출", 한국화재소방학회 논문지, 28(2), pp.91~97 (2014), 한국화재소방학회[DOI]
- 노태길, "규칙 기반의 기계학습을 통한 고유명사의 추출과 분류", 한국정보과학회 학술발표논문집, 27(2), pp.170~172 (2000)
- 백승원, "비정형데이터 기반 공공 건설사업 갈등 이슈 분석 - 제주해군기지 사례를 중심으로", 공공사회연구, 8(1), pp.83~106 (2018), 한국공공사회학회[DOI]
- 서민영, "게층 구조 어텐션 매커니즘에 기반한 CNN-RNN을 이용한 한국어 화행 분석 시스템", 한국정보과학회 언어공학연구회:학술대회논문집, pp.243~246 (2018)
- 서호준, "우리나라 국방정책의 핵심이슈 도출 -『2018 국방백서』에 대한 텍스트 네트워크 분석의 적용 -", 한국군사, 6, pp.39~70 (2019), (재)한국군사문제연구원[DOI]
- "“KOMORAN 3.0” 2016 국어 정보 처리 시스템 경진대회 발표 자료집" (2016), 신준수[URL]
- 이동주, "꼬꼬마 : 관계형 데이터베이스를 활용한 세종 말뭉치 활용 도구", 정보과학회 컴퓨팅의 실제 논문지, 16(11), pp.1046~1050 (2010), 한국정보과학회
- 이동혁, "정신전력 기고문의 토픽모델링 적용 탐색적 연구 - 국방일보 오피니언 분석을 중심으로 -", 정신전력연구, (61), pp.101~133 (2020), 국방정신전력원[DOI]
- 이선웅, "형태소의 식별과 분류", 國語學, (81), pp.263~294 (2017), 국어학회[DOI]
- 이용규, "텍스트 네트워크분석을 활용한 국방분야 연구논문 지식구조 분석", 한국컴퓨터정보학회 학술발표논문집, 26(2), pp.525~528 (2018)
- 이재성, "한국어 형태소 분석을 위한 3단계 확률 모델", 정보과학회논문지 : 소프트웨어 및 응용, 38(5), pp.257~268 (2011), 한국정보과학회
- 임상수, "군 조직 업무 분석기법에 관한 연구", 한국데이터정보과학회지, 30(1), pp.139~157 (2019), 한국데이터정보과학회[DOI]
- 임좌상, "한국어 트위터의 감정 분류를 위한 기계학습의 실증적 비교", 멀티미디어학회논문지, 17(2), pp.232~239 (2014), 한국멀티미디어학회[DOI]
- "카카오의 딥러닝 기반 형태소 분석기" (2018)[URL]
- 자연어처리 연구동향: 통계 기반의 자연어 처리, "정보과학회지", 1994, 20~30
- 전고운, "토픽모델링 기반의 국방기술 동향분석 방안 : 장갑전투차량에의 적용", 산업혁신연구, 36(1), pp.69~94 (2020), 산업개발연구소[DOI]
- 최민석, "XGBoost와 교차검증을 이용한 품사부착말뭉치에서의 오류 탐지", 정보처리학회 논문지, 9(7), pp.221~228 (2020), 한국정보처리학회[DOI]
- 한국과학기술원, "한나눔 한국어 형태소 분석기 사용자 매뉴얼", 시멘틱 웹 첨단연구센터, 한국과학기술원, ~ (2011)
- 홍진표, "어절패턴을 이용한 한국어 품사 태거", 석사, 컴퓨터공학, pp.2009
- 황용주, "21 세기 세종 말뭉치 제대로 살펴보기―언어정보나눔터 활용하기", 새국어생활, 26(2), pp.0~0 (2016)
- Yoon Kim, "Convolutional Neural Networks for Sentence Classification", Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.1746~1751 (2014)
- Kudo, T., "Applying conditional random fields to Japanese morphological analysis", Proceedings of the 2004 conference on empirical methods in natural language processing, pp.230~237 (2004)
- Zins, C., "Conceptual approaches for defining data, information, and knowledge", Journal of the American society for information science and technology, 58(4), pp.479~493 (2007)