CRF를 이용한 한국어 자동 띄어쓰기
Automatic Word Spacing based on Conditional Random Fields
1
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
본 논문에서는 띄어쓰기가 전혀 되어 있지 않은 한국어 문장을 입력받아 자동으로 띄어쓰기를 해 주는 시스템을 제안한다. 띄어쓰기 문제는 주어진 문장의 각 음절에 대하여 띄어쓰기 여부를 나타내는 레이블을 부착하는 일종의 레이블링 문제이므로, 본 논문에서는 레이블링 문제 해결에 띄어난 성능을 보이는 것으로 알려진 CRF를 이용하여 자동 띄어쓰기를 시도하였다. 약 112만 음절 규모의 학습용 데이터로 학습을 하고, 2,114 문장(약 9.3만 음절)의 평가용 데이터로 띄어쓰기 정확도에 대한 평가를 하였다. 평가 결과 음절 단위의 정확도는 98.84%, 어절 단위의 정확도는 95.99%인 것으로 나타났다.
Abstract
In this paper, an automatic word spacing system is proposed, which assumes sentences with no spaces between the words and segments them into proper words. Segmentation is regarded as a labeling problem in that segmentation can be done by attaching appropriate labels to each syllables of the given sentences. The system is based on Conditional Random Fields, which were reported to show excellent performance in labeling problems. The system is trained with a corpus of 1.12 million syllables, and evaluated with 2,114 sentences, 93 thousand syllables. The best results obtained are 98.84% of syllable-based accuracy and 95.99% of word-based accuracy.
참고문헌 (17)
- Jianfeng Gao, "Improved Source-Channel Model for Chinese Word Segmentation", Proceedings of the 41st Annual Meeting of the ACL, pp.272~279 (2003)
- 전남열, "음절 Bi-gram정보를 이용한 한국어 OCR 후처리용 자동 띄어쓰기", 제12회 한글 및 한국어 정보처리 학술대회 논문집, pp.95~100 (2000)
- 임동희, "음성 인식 후처리를 위한 띄어쓰기 오류의 교정", 한국컴퓨터종합학술대회 논문집, 33(1), pp.25~27 (2006)
- 최재혁, "양방향 최장일치법을 이용한 한국어 띄어쓰기 자동 교정 시스템", 제9회 한글 및 한국어 정보처리 학술대회 논문집, pp.145~151 (1997)
- 강승식, "한글 문장의 자동 띄어쓰기를 위한 어절 블록 양방향 알고리즘", 정보과학회논문지: 소프트웨어 및 응용, 27(4), pp.441~447 (2000)
- 박종철, "음절단위 결합범주문법을 이용한 한국어 문장의 자동 띄어쓰기", 한글및 한국어 정보처리 학술대회, pp.47~54 (2002)
- 심광섭, "음절간 상호 정보를 이용한 한국어 자동 띄어쓰기", 정보과학회논문지, 23(9), pp.991~1000 (1996)
- 태윤식, "자기 조직화 n-gram모델을 이용한 자동 띄어쓰기", 제18회 한글 및 한국어 정보처리 학술대회 논문집, pp.125~132 (2006)
- 이도길, "한글 문장의 자동 띄어쓰기를 위한 두 가지 통계적 모델", 정보과학회논문지 : 소프트웨어 및 응용, 30(4), pp.358~371 (2003), 한국정보과학회
- Gumwon Hong, "Utilizing the Web for Automatic Word Spacing", IEICE Trans. Inf & Syst, E92-D(12), pp.2553~2556 (2009)
- John Lafferty, "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data", Proceedings of the 18th International Conference on Machine Learning, pp.282~289 (2001)
- Fei Sha, "Shallow Parsing with Conditional Random Fields", Proceedings of HLT-NAACL 2003, pp.134~141 (2003)
- Conditional Random Fields: An Introduction, "Hanna M", University of Pennsylvania, ~, pp.CIS Technical Report MS-CIS-04-21 (2004)
- Fuchun Peng, "Chinese Segmentation and New Word Detection using Conditional Random Fields", Proceedings of the 20th International Conference on Computational Linguistics, pp.562~568 (2004)
- 김승원, "CRF를 이용한 한국어 운율 경계 추정", 제17회 한글 및 한국어 정보처리 학술대회 논문집, pp.134~138 (2005)
- 오진영, "엔트로피 지도 CRF를 이용한 한국어 어절 구문태그 예측", 정보과학회논문지 : 컴퓨팅의 실제 및 레터, 15(5), pp.395~399 (2009), 한국정보과학회
- "CRF++:Yet Another CRF toolkit"[URL]