텍스트마이닝 성능 향상을 위한 도메인 특화 불용어 사전 구축 기법
Constructing Domain-Specific Stopword Dictionaries for Improved Text Mining
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
텍스트마이닝은 다량의 텍스트 데이터로부터 의미 있는 정보와 패턴을 추출할 수 있는 방법론으로, 학술 연구뿐만 아니라 정책, 산업, 문화 등 다양한 분야에서 산업의 최신 동향을 파악하기 위해 사용되고 있다. 텍스트마이닝 분석의 신뢰성과 타당성은 원 데이터의 전처리 단계의 정교함에 크게 좌우된다. 특히 ‘불용어 제거’는 정확도 높은 분석을 위한 핵심 전처리 절차로, 분석 결과에 중대한 영향을 미친다. 비정형 텍스트의 양이 방대하고, 분석 주제가 비교적 미세한 차이를 요구하는 연구동향 분석의 경우, 불용어 제거의 적절성은 전체 분석 결과의 신뢰도를 좌우하는 요소로 작용하기 때문이다. 그럼에도 불구하고, 불용어 처리에 관한 표준화된 기준은 여전히 명확히 정립되어 있지 않으며, 텍스트마이닝을 수행하는 많은 연구들은 기존 문헌에서 제시된 기준이나 전처리 패키지에 포함된 불용어 리스트에 의존하거나, 분석자의 주관적 판단에 따라 불용어를 임의로 제거하는 방식을 채택하고 있다. 이에 본 연구는 텍스트마이닝 연구의 정밀도와 도메인 적합성을 제고하기 위해, 공용 불용어 사전의 구축과 더불어, 각 도메인에 특화된 도메인 불용어를 체계적으로 도출하는 것을 목적으로 한다. 제안되는 수식을 기반으로 구축된 불용어 사용으로 사용자의 임의 조작이 배제되기 때문에 최종결과의 신뢰성을 확보할 수 있게 된다.
Abstract
Text mining is a methodology that extracts meaningful information and patterns from large text datasets, used in fields like research, policy, industry, and culture to understand trends. The reliability and validity of text mining analysis depend on data preprocessing, particularly "stopword removal," which significantly impacts results. In research trend analysis, where unstructured text is vast and analysis requires fine distinctions, the appropriateness of stopword removal is crucial for ensuring result reliability. However, standardized criteria for stopword processing are lacking, with many studies relying on predefined lists or subjective judgment. This study aims to enhance text mining precision and domain applicability by constructing a common stopword dictionary and deriving domain-specific stopwords, ensuring result reliability by eliminating arbitrary user manipulation.