Structural SVMs 및 Pegasos 알고리즘을 이용한 한국어 개체명 인식
Named Entity Recognition with Structural SVMs and Pegasos algorithm
0
조회
0
다운로드
22
인용
0
참고문헌
키워드
초록
개체명 인식은 정보 추출의 한 단계로서 정보검색 분야 뿐 아니라 질의응답과 요약 분야에서 매우 유용하게 사용되고 있다. 본 논문에서는 structural Support Vector Machines(structural SVMs) 및 수정된 Pegasos 알고리즘을 이용한 한국어 개체명 인식 시스템에 대하여 기술하고 기존의 Conditional Random Fields(CRFs)를 이용한 시스템과의 성능을 비교한다. 실험결과 structural SVMs과 수정된 Pegasos 알고리즘이 기존의 CRFs 보다 높은 성능을 보였고(신뢰도 99%에서 통계적으로 유의함), structural SVMs과 수정된 Pegasos 알고리즘의 성능은 큰 차이가 없음(통계적으로 유의하지 않음)을 알 수 있었다. 특히 본 논문에서 제안하는 수정된 Pegasos 알고리즘을 이용한 경우 CRFs를 이용한 시스템보다 높은 성능(TV 도메인 F1=85.43, 스포츠 도메인 F1=86.79)을 유지하면서 학습 시간은 4%로 줄일 수 있었다.
Abstract
The named entity recognition task is one of the most important subtasks in Information Extraction. In this paper, we describe a Korean named entity recognition using structural Support Vector Machines (structural SVMs) and modified Pegasos algorithm. Using the proposed approach, we could achieve an 85.43% F1 and an 86.79% F1 for 15 named entity types on TV domain and sports domain, respectively. Moreover, we reduced the training time to 4% without loss of performance compared to Conditional Random Fields (CRFs).
참고문헌 (14)
- Borthwick, A., "NYU: Description of the MENE named entity system as used in MUC-7" (1998), MUC-7
- Kim Sang, E. F. T., "Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition" (2003), CoNLL
- "A Simple Introduction to Maximum Entropy Models for Natural Language Processing," University of Pennsylvania Institute for Research in Cognitive Science Technical Report, "Ratnaparkhi, A", ~, pp.No. IRCS-97-08 (1997)
- Lafferty, J., "Conditional random fields: Probabilistic models for segmenting and labeling sequence data", pp.282~2289 (2001), ICML
- A. McCallum, "Early results for named entity recognition with conditional random fields, feature induction and web-enhanced lexicons" (2003), CoNLL
- Changki Lee, "Fine-Grained Named Entity Recognition Using Conditional Random Fields for Question Answering" (2006), Lecture notes in computer science (AIRS2006)
- Changki Lee, "Fine-grained named entity recognition and relation extraction for question answering", pp.799~800 (2007), SIGIR
- I. Tsochantaridis, "Support Vector Machine Learning for Interdependent and Structured Output Spaces" (2004), Proc. ICML
- T. Joachims, "Cutting-Plane Training of Structural SVMs" (2008), MLJ
- Changki Lee, "Fast Training of Structured SVM Using Fixed-Threshold Sequential Minimal Optimization", ETRI Journal, 31(2), pp.121~128 (2009), 한국전자통신연구원
- Changki Lee, "A Modified Fixed-Threshold SMO for 1-Slack Structural SVMs", ETRI Journal, 32(1), pp.120~128 (2010), 한국전자통신연구원
- L. Bottou, "The Tradeoffs of Large Scale learning" (2008), NIPS 20
- S. Shalev-Shwartz, "Pegasos: Primal Estimated sub-GrAdient SOlver for SVM", Proc. ICML (2007)
- Changki Lee, "Large-Margin Training of Dependency Parsers Using Pegasos Algorithm", ETRI Journal, 32(3), pp.486~489 (2010), 한국전자통신연구원