텍스트마이닝을 위한 한국어 불용어 목록 연구
The Study of Korean Stopwords list for Text mining
0
조회
0
다운로드
60
인용
0
참고문헌
키워드
초록
본 연구의 목적은 텍스트마이닝 방법을 활용하여 한국어 텍스트를 분석할 때 필요한 불용어 목록을 제시하는 것이다. 텍스트마이닝의 전처리 과정에서 불용어를 제거하는 작업이 수행되는데 이를 위한 불용어 목록이 필요하기 때문이다. 이를 위해 국립국어원에서 제시하는 대규모 말뭉치에서 최다 빈도로 출현하는 형태소를 추출하였다. 그리고 이 중에서 중요한 의미를 가지는 형태소와 의미가 없는 형식 형태소를 제외하였다. 결과적으로 실질 형태소이자 자립 형태소이면서 의미적으로는 유용하지 않은 293개의 단어가 불용어 목록으로 선정되었다. 이와 같은 불용어 목록은 다양한 분야에서 한국어 텍스트를 분석할 때 유용하게 활용될 수 있을 것으로 예상된다.
Abstract
The purpose of this study is to present a Korean stopwords list needed to analyze Korean text using text mining method. In the preprocessing process of text mining, a task of eliminating stopwords is performed. For this purpose, we extract morphemes with the highest frequency in the large corpus suggested by the National Institute of Korean Language. The morphemes that have important meaning and the morphemes without meaning are excluded. As a result, 293 words, which are substantial morpheme, independent morpheme, and not semantically useful, were selected as an Korean stopwords list. This list is expected to be useful for analyzing Korean texts in various fields.
참고문헌 (16)
- 감미아, "텍스트 마이닝을 활용한 신문사에 따른 내용 및 논조 차이점 분석", 지능정보연구, 18(3), pp.53~77 (2012), 한국지능정보시스템학회
- 강승식, "한글 문서의 색인어와 색인 기법", 정보과학회지, 22(4), pp.72~77 (2004), 한국정보과학회
- 곽용진, "합목적적 말뭉치(Corpus) 자동 구축", 언어사실과 관점, 13, pp.31~68 (2003), 연세대 언어정보연구원
- 김판구, "한국어 정보 검색을 위한 불용어의 구성 및 적용", 한국정보과학회 학술발표논문집, 20(1) (1993), 한국정보과학회
- 노형남, "빅 데이터 텍스트 마이닝 -정치 연설을 중심으로-", 화법연구, (26), pp.289~325 (2014), 한국화법학회[DOI]
- 백영민, "R를 이용한 텍스트 마이닝" (2017), 한울아카데미
- 안정국, "집단지성을 이용한 한글 감성어 사전 구축", 지능정보연구, 21(2), pp.49~67 (2015), 한국지능정보시스템학회
- 이삼형, "텍스트 난이도에 따른 핵심 어휘와 그 관계망 변화에 대한 연구", 우리말연구, (53), pp.179~221 (2018), 우리말학회
- 이수상, "독후감 텍스트의 언어 네트워크 분석에 관한 기초연구", 한국도서관·정보학회지, 47(3), pp.95~114 (2016), 한국도서관·정보학회[DOI]
- 이슬기, "작문 평가에서 텍스트 마이닝의 활용 가능성 탐색", 작문연구, (35), pp.99~131 (2017), 한국작문학회[DOI]
- 이슬기, "쓰기 수행 수준에 따른 중학생 논설문의 텍스트 시각화 분석", 학습자중심교과교육연구, 17(15), pp.401~422 (2017), 학습자중심교과교육학회[DOI]
- 홍정하, "세종 구문분석 말뭉치의 구축과 통사 범주 및 기능의 통계적 분포", 민족문화연구, (49), pp.285~331 (2008), 민족문화연구원
- Fox, C., "A Stop List for General Text", SIGER FORUM, 24(1-2), pp.19~35 (1990)
- Rajaraman, A, "Data Mining", Mining of Massive Datasets, 1~17 (2011)
- Raulji, J. K, "Generating Stopword List for Sanskrit Language", 2017 IEEE 7th International Advance Computing Conference, pp.799~802 (2017)
- Siddiqi, S, "Constructive of a generic stopword list for Hindi language without corpus statistics", International Journal of Advanced Computer Research, 8(34), pp.35~40 (2018)