본문 바로가기
KERD
논문KCI 등재

한국어 품사 부착 말뭉치의 오류 검출 및 수정

Detecting and correcting errors in Korean POS-tagged corpora

김재훈|서형원|권홍석|최명길
한국마린엔지니어링학회 (The Korean Society of Marine Engineering)|2013.03|한국마린엔지니어링학회지 (Journal of Advanced Marine Engineering and Technology)|제37권 제2호|pp. 227-235|DOI http://dx.doi.org/10.5916/jkosme.2013.37.2.227

2

조회

0

다운로드

4

인용

0

참고문헌

키워드

오류 수정오류 검출Error correction품사 부착 말뭉치말뭉치 수정 도구POS-tagged corpusError detectionCorpus annotation/correction tool
주제분류기계공학

초록

품사 부착 말뭉치의 품질은 품사 부착기를 개발하는데 있어서 매우 중요한 역할을 수행한다. 그러나 세종말뭉치를 비롯하여 한국에서 구축된 많은 품사 부착 말뭉치들은 여전히 다양한 형태의 오류를 포함하고 있다. 이런 오류들을 살펴보면 품사 부착 오류는 물론이고 철자 오류, 문자의 삽입 및 삭제 등 매우 다양하다. 본 논문에서는 오류 패턴을 이용하여 품사 부착 오류를 검출하고 이를 효과적으로 수정하는 도구를 개발한다. 제안된방법과 도구를 이용해서 오류를 수정할 경우 평균 9배 이상 빠르게 오류를 수정할 수 있어서 이 방법이 매우 효과적인 방법임을 확인할 수 있었다.

Abstract

The quality of the part-of-speech (POS) annotation in a corpus plays an important role in developing POS taggers. There, however, are several kinds of errors in Korean POS-tagged corpora like Sejong Corpus. Such errors are likely to be various like annotation errors, spelling errors, insertion and/or deletion of unexpected characters. In this paper,we propose a method for detecting annotation errors using error patterns, and also develop a tool for effectively correcting them. Overall, based on the proposed method, we have hand-corrected annotation errors in Sejong POS Tagged Corpus using the developed tool. As the result, it is faster at least 9 times when compared without using any tools. Therefore we have observed that the proposed method is effective for correcting annotation errors in POS-tagged corpus.

참고문헌 (26)

  1. Guideline on Building a Korean Part-of-Speech Tagged Corpus: KAIST Corpus, "J.-H. Kim", Department of Computer Science, KAIST, ~, pp.Technical Report CS-TR-95-99 (1995)
  2. Part of Speech Tagging Guidelines for Penn Korean Treebank, "C.-H. Han", Institute for Research in Cognitive Science, University of Pennsylvania, ~, pp.Technical Report IRCS Report 01-09 (2001)
  3. 21st Century Sejong Project – Construction of the Primary Data of the Korean Language, "H.-G. Kim", National Institute of the Korean Language, ~, pp.Research Report NIKL 2007-01-10 (2007)
  4. M. Lee, "Verification of POS tagged corpus", Proceedings of the 17th Annual Conference on Human and Cognitive Language Technology, pp.145~150 (2005)
  5. J.-H. Kim, "Error correction methods for Sejong corpus", Proceedings of the KOSME Spring Conference, pp.435~436 (2010)
  6. M. Dickinson, "Error Detection and Correction in Annotated Corpora", 박사, pp.2005
  7. H. Loftsson, "Correcting a PoS-tagged corpus using three complementary methods", Proceedings of the 12th Conference of the European Chapter of the ACL, pp.523~531 (2009)
  8. H. Loftsson, "Developing a POS-tagged corpus using existing tools", Proceedings of the 12th Conference of the European Chapter of the ACL, pp.523~531 (2009)
  9. H. van Haltere, "The detection of inconsistency in manually tagged text", Proceedings of the 2nd Workshop on Linguistically Interpreted Corpora (2000)
  10. M. Dickinson, "Detecting errors in part-of-speech annotation", Proceedings of the 10th conference on European chapter of the Association for Computational Linguistics, pp.107~114 (2003)
  11. E. Eskin, "Automatic corpus correction with anomaly detection", Proceedings of the 1st Conference of the North American Chapter of the Association for Computational Linguistics, pp.148~153 (2000)
  12. T. Nakagawa, "Detecting errors in corpora using support vector machines", Proceedings of the 17th International Conference on Computational Linguistics, pp.709~715 (2002)
  13. T. Ule, "Unexpected productions may well be errors", Proceedings of 4th International Conference on Language Resources and Evaluation, pp.1795~1798 (2004)
  14. Q. Ma, "On-line error detection of annotated corpus using modular neural networks", Proceedings of the International Conference on Artificial Neural Networks, pp.1185~1192 (2001)
  15. R. Reidsma, "Multi-task active learning for linguistic annotations", Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp.861~869 (2008)
  16. B. G. Chang, "Design and implement of tree tagging workbench to build a large tree tagged corpus of Korean", Proceedings of the 9th Annual Conference on Human and Cognitive Language Technology, pp.421~429 (1997)
  17. Y.-H. Noh, "A workbench for domain adaptation of an MT lexicon with a target domain corpus", Proceedings of the 12th Annual Conference on Human and Cognitive Language Technology, pp.163~168 (2000)
  18. 김재훈, "PPEditor: 한국어 의존구조 부착을 위한 반자동 말뭉치 구축 도구", 정보처리학회논문지. 소프트웨어 및 데이터 공학, 13(1), pp.63~70 (2006), 한국정보처리학회
  19. D. Day, "Mixed-initiative development of language processing systems", Proceedings of the Applied Natural Language Processing Conference, pp.348~355 (1997)
  20. T. Morton, "WordFreak: An open tool for linguistic annotation", Proceedings of the 2003 Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, pp.17~18 (2003)
  21. T. Brants, "Interactive corpus annotation", Proceedings of the 2nd International Conference on Language Resources and Engineering, pp.453~459 (2000)
  22. S. Chung, "Morphological generation system in English-Korean Machine Translation System MATES", EK, 1990, 10~13
  23. U. C. Choi, "Design and implementation of Korean generator for English-Korean Machine Translation", Proceedings of the Autumn Conference of KISS, 17(2), pp.221~224 (1990)
  24. H.-W. Seo, "TagBench : A tool for building large corpora", Proceedings of the 24th Annual Conference on Human and Cognitive Language Technology, pp.126~131 (2012)
  25. M.-G. Choi, "Developing a Tool for Detecting and Correcting Errors in Sejong POS Tagged Corpus", 석사, Department of Computer Engineering, pp.2012
  26. A Study on a Corpus Construction Tool for Machine Translation, "J.-H. Kim", Electronics and Telecommunications Research Institute, ~, pp.Research Report (2012)

관련 논문AI추천

SJ-RIKS Corpus : 세종 형태의미 분석 코퍼스를 넘어서강범모, 김일환, 이도길민족문화연구원 · 민족문화연구2010 · 제52호교정사전과 신문기사 말뭉치를 이용한 한국어 철자 오류 교정 모델김학수, 이세희한국정보처리학회 · 정보처리학회 논문지2009 · 제16권 제5호XGBoost와 교차검증을 이용한 품사부착말뭉치에서의 오류 탐지윤호, 김재균, 김재훈, 김창현, 남궁영, 박호민, 천민아, 최민석한국정보처리학회 · 정보처리학회 논문지2020 · 제9권 제7호기초 어휘 선정을 위한 형태소 분석기의 오류 유형에 대하여최형용언어정보연구소 · 언어와 정보 사회2019 · 제37권 형태소 분석기 사용을 배제한 음절 단위의 한국어 품사 태깅심광섭한국인지과학회 · 인지과학2011 · 제22권 제3호오류에 기반한 복합명사 좌우접속규칙 사전 구축이공주, 이성욱한국마린엔지니어링학회 · 한국마린엔지니어링학회지2012 · 제36권 제8호

이 간행물의 다른 논문 (15건)

비파괴검사에 의한 A2024 마찰교반용접부의 건전성 평가김기범, 박경채, 고영봉pp. 135-143Analysis of nano-cluster formation in the PECVD process윤용섭pp. 144-148맥동 유동 발생을 위한 맥동 펌프의 설계 및 특성 분석 연구곽문규, 이춘영, 이연호, 이종민, 박철우, 주윤하, 김경원pp. 149-155와법을 이용한 분리된 분할판을 가진 정방형주의 유동장 특성계산노기덕pp. 156-162Influence of guide vane shape on the performance and internal flow of a cross flow wind turbinePatrick Mark Singh, 최영도, 손성우pp. 163-169
원문 보기