본문 바로가기
KERD
논문KCI 등재

영한 기계 번역에서 미가공 텍스트 데이터를 이용한 대역어 선택 중의성 해소

Target Word Selection Disambiguation using Untagged Text Data in English-Korean Machine Translation

장정호|김유섭
한국정보처리학회|2004.10|정보처리학회 논문지 (The Transactions of the Korea Information Processing Society)|제11권 제6호|pp. 749-758

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

LSA(Latent Semantic Analysis)대역어 선택(Target Word Selecton)최근점 학습(nearest Neighbor Learning)상관관계(Correlation)PLSA(Probabilistic Latent Semantic Analysis)
주제분류컴퓨터학

초록

본 논문에서는 미가공 말뭉치 데이터를 활용하여 영한 기계번역 시스템의 대역어 선택시 발생하는 중의성을 해소하는 방법을 제안한다. 이를 위하여 은닉 의미 분석(Latent Semantic Analysis：LSA)과 확률적 은닉 의미 분석(Probabilistic LSA：PLSA)을 적용한다. 이 두 기법은 텍스트 문단과 같은 문맥 정보가 주어졌을 때, 이 문맥이 내포하고 있는 복잡한 의미 구조를 표현할 수 있다. 본 논문에서는 이들을 사용하여 언어적인 의미 지식(Semantic Knowledge)을 구축하였으며 이 지식은 결국 영한 기계번역에서의 대역어 선택시 발생하는 중의성을 해소하기 위하여 단어간 의미 유사도를 추정하는데 사용된다. 또한 대역어 선택을 위해서는 미리 사전에 저장된 문법 관계를 활용하여야 한다. 본 논문에서는 이러한 대역어 선택시 발생하는 데이터 희소성 문제를 해소하기 위하여최근점 학습 알고리즘을 사용한다. 그리고 위의 두 모델을 활용하여 최근점 학습에서 필요한 예제 간 거리를 추정하였다. 실험에서는, 두 기법에서의 은닉 의미 공간을 구성하기 위하여 TREC 데이터(AP news)를 활용하였고, 대역어 선택의 정확도를 평가하기 위하여 Wall Street Journal 말뭉치를 사용하였다. 그리고 은닉 의미 분석을 통하여 대역어 선택의 정확성이 디폴트 의미 선택과 비교하여 약 10% 향상되었으며 PLSA가 LSA보다 근소하게 더 좋은 성능을 보였다. 또한 은닉 공간에서의 축소된 벡터의 차원수와최근점 학습에서의값이 대역어 선택의 정확도에 미치는 영향을 대역어 선택 정확도와의 상관관계를 계산함으로써 검증하였다.

Abstract

In this paper, we propose a new method utilizing only raw corpus without additional human effort for disambiguation of target word selection in English-Korean machine translation. We use two data-driven techniques; one is the Latent Semantic Analysis(LSA) and the other the Probabilistic Latent Semantic Analysis(PLSA). These two techniques can represent complex semantic structures in given contexts like text passages. We construct linguistic semantic knowledge by using the two techniques and use the knowledge for target word selection in English-Korean machine translation. For target word selection, we utilize a grammatical relationship stored in a dictionary. We usenearest neighbor learning algorithm for the resolution of data sparseness problem in target word selection and estimate the distance between instances based on these models. In experiments, we use TREC data of AP news for construction of latent semantic space and Wall Street Journal corpus for evaluation of target word selection. Through the Latent Semantic Analysis mothods, the accuracy of target word selection has improved over 10% and PLSA has showed better accuracy than LSA method. Finally we have showed the relatedness between the accuracy and two important factors；one is dimensionality of latent space andvalue ofNN learning by using correlation calculation.

참고문헌 (21)

  1. I. Dagan, "Word Sense Disambiguation Using a Second Language Monolingual Corpus", 20, pp.563~595 (1994)
  2. N. Kim, "Determining Target Expression Using Parameterized Collocations from Corpus in Korean-English Machine Translation" (1994)
  3. I. Dagan, "Similarity-based Models of Word Cooccurrence Probabilities", 34, pp.43~69 (1999)
  4. Y. Kim, "Collocation Dictionary Optimization using WordNet andnearset Neighbor Learning", 16, pp.89~108 (2001)
  5. T. K. Landauer, "A Solution to Plato’s Problem：The Latent Semantic Analysis Theory of the Acquisition and Representation of Knowledge", 104 (1988)
  6. S. Deerwester, "Indexing by Latent Semantic Analysis Journal of the American Society for Information Science", pp.391~407 (1990)
  7. P. Foltz, "The Measurement of Textual Coherence with Latent Semantic Analysis", pp.285~307 (1998)
  8. Y. Kim, "Target Word Selection using WordNet and Data-driven Model in Machine Translation", 2417, pp.607~ (2002)
  9. T. K. Landauer, "An Introduction to Latent Semantic Analysis", 25, pp.259~284 (1998)
  10. T. Hoffmann, "Probabilistic Latent Semantic Analysis" (1999)
  11. T. Hoffmann,J. Puzicha, "Unsupervised Learning from Dyadic Data", 11 (1999)
  12. T. Hoffmann, "Probabilistic Latent Semantic Indexing", pp.50~57 (1999)
  13. E. Voorhees, "Overview of the Seventh Text Retrieval Conference", pp.1~24 (1998)
  14. T. Cover, "Nearest Neighbor Pattern Classi- fication", 13, pp.21~27 (1967)
  15. D. Aha, "Instance-based Learning Algorithms", 6, pp.37~66 (1991)
  16. Y. Gotoh, "Document Space Models using Latent Semantic Analysis", pp.1443~1446 (1997)
  17. D. Gildea, "Topic Based Language Models using EM" (1999)
  18. T. Hofmann,J. Puzicha, "Unsupervised Lear- ning from Dyadic Data", 11 (1999)
  19. M. Berry, "SVDPACKC：Version 1.0 User’s Guide" (1993)
  20. F. R. K. Chung, "Spectral Graph Theory", 92 (1997)
  21. L. Bain, "Introduction to Probability and Mathematical Statistics", pp.179~190 (1987), Thomson Learning

관련 논문AI추천

‘단어-의미 의미-단어’ 관계에 기반한 번역어 선택이현아한국정보처리학회 · 정보처리학회 논문지2006 · 제13권 제1호단어 단위의 추정 정렬을 통한 영-한 대역어의 자동 추출이공주한국정보처리학회 · 정보처리학회 논문지2013 · 제2권 제6호LSA 모형에서 다의어 의미의 표상김청택, 이태헌한국인지과학회 · 인지과학2004 · 제15권 제2호효율적 영한기계번역을 위한 확률적 품사결정김성동, 김일민한국정보처리학회 · 정보처리학회 논문지2010 · 제17권 제6호텍스트 맥락과 단어 의미: 잠재의미분석강범모사단법인 한국언어학회 · 언어학2014 · 제68호정렬기법을 이용한 미등록 대역어의 자동 추출김재훈, 양성일한국정보처리학회 · 정보처리학회 논문지2007 · 제14권 제3호

이 간행물의 다른 논문 (15건)

H.264 동영상 부호기를 위한 Feedback 버퍼 제어 방식손남례, 이귀상pp. 625-632다중해상도를 이용한 새로운 3단계 블록정합 알고리즘주헌식pp. 633-644PCA와 LDA를 이용한 오프라인 서명 검증전명근, 류상연, 이대종, 고현주pp. 645-652객체지향 분석-합성 부호화를 위한 효율적 움직임 파라미터 추정 알고리듬이창범, 박래홍pp. 653-660주변 움직임 벡터의 적응적 선택을 이용한 효율적인 에러은닉 알고리즘이현우, 성동수pp. 661-666
원문 보기