대화 말뭉치 구축을 위한 반자동 의미표지 태깅 시스템
A Semi-Automatic Semantic Mark Tagging System for Building Dialogue Corpus
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
지능형 음성 대화 인터페이스 구현에 있어 핵심어의 의미표지는 사용자 의도 파악을 위한 중요한 요소이다. 대화시스템은 사용자 발화의 의도를 파악하기 위해 핵심어와 그 의미표지를 이용하여 발화의 의도를 결정한다. 하나의 핵심어는 여러 개의 의미표지를 가질 수 있는 중의성을 지닌다. 이러한 중의성을 지닌 핵심어를 사용자의 의도와 일치하는 의미표지로 결정하는 것은 단어 의미 분별 문제와 유사하다. 우리는 전사된 대화 말뭉치의 약 23%를 수동으로 의미를 부착하여 핵심어에 대한 의미표지 사전, 유의어 사전, 문맥벡터 사전을 먼저 구축한 후, 나머지 77% 대화 말뭉치에 존재하는 핵심어의 의미를 자동으로 부착한다. 중의성을 가진 핵심어는 문맥벡터 사전으로부터 문맥 벡터 유사도를 계산하여 의미를 결정한다. 핵심어가 미등록어인 경우에는 유의어 사전을 이용하여 가장 유사한 핵심어를 찾아 그 핵심어의 의미를 부착한다. 중의성을 가진 고빈도 핵심어 3개와 저빈도 핵심어 3개를 말뭉치에서 선정하여 제안 시스템의 성능을 평가하였다. 실험결과, 수동으로 구축한 말뭉치를 사용하였을 때 약 54.4%의 정확도를 얻었고, 반자동으로 확장한 말뭉치를 사용하였을 때 약 50.0%의 정확도를 얻었다.
Abstract
Determining the meaning of a keyword in a speech dialogue system is an important technology for the future implementation of an intelligent speech dialogue interface. After extracting keywords to grasp intention from user's utterance, the intention of utterance is determined by using the semantic mark of keyword. One keyword can have several semantic marks, and we regard the task of attaching the correct semantic mark to the user’s intentions on these keyword as a problem of word sense disambiguation. In this study, about 23% of all keywords in the corpus is manually tagged to build a semantic mark dictionary, a synonym dictionary, and a context vector dictionary, and then the remaining 77% of all keywords is automatically tagged. The semantic mark of a keyword is determined by calculating the context vector similarity from the context vector dictionary. For an unregistered keyword, the semantic mark of the most similar keyword is attached using a synonym dictionary. We compare the performance of the system with manually constructed training set and semi-automatically expanded training set by selecting 3 high-frequency keywords and 3 low-frequency keywords in the corpus. In experiments, we obtained accuracy of 54.4% with manually constructed training set and 50.0% with semi-automatically expanded training set.
참고문헌 (14)
- Tomas Mikolov, "Efficient Estimation of Word Representations in Vector Space", arXiv:1301.3781, ~ (2013)
- 김완수, "격틀 사전과 하위 범주 정보를 이용한 한국어 의미역 결정", 정보과학회논문지, 43(12), pp.1376~1384 (2016), 한국정보과학회
- Jangseong Bae, "Korean Semantic Role Labeling using Deep Learning", Proc. of the KIISE Korea Computer Congress 2015, pp.690~692 (2015)
- "Korean Propbank"[URL]
- Michael Lesk, "Automatic Sense Disambiguation Using Machine Readable Dictionaries: How to Tell a Pine Cone from an Ice Cream Cone", Proceedings of the 5th Annual International Conference on Systems Documentation (1986)
- G. A. Miller, "WordNet : An On-Line Lexical Database", International Journal of Lexicography (1990)
- 강상욱, "세종 전자사전과 한국어 어휘의미망을 이용한 용언의 어의 중의성 해소", 정보과학회 컴퓨팅의 실제 논문지, 21(7), pp.500~505 (2015), 한국정보과학회
- 신준철, "한국어 품사 및 동형이의어 태깅을 위한 단계별 전이모델", 정보과학회논문지 : 소프트웨어 및 응용, 39(11), pp.889~901 (2012), 한국정보과학회
- H. Schutze, "Automatic Word Sense Discrimination", Computational Linguistics, 24(1) (1998)
- 박용민, "한국어 단어 공간 모델을 이용한 단어 의미 중의성 해소", 한국콘텐츠학회 논문지, 12(6), pp.41~47 (2012), 한국콘텐츠학회[DOI]
- 정한조, "사전과 말뭉치를 이용한 한국어 단어 중의성 해소", 지능정보연구, 21(1), pp.1~13 (2015), 한국지능정보시스템학회
- Sangyun Kim, "Automatic Extraction of Alternative Word Candidates using the Word2vec model", Korean Institute of Information Scientists and Engineers, 2015(12), pp.769~771 (2015)
- 박준혁, "지지벡터기계를 이용한 단어 의미 분류", 정보처리학회 논문지, 5(11), pp.563~568 (2016), 한국정보처리학회[DOI]
- 이공주, "오류에 기반한 복합명사 좌우접속규칙 사전 구축", 한국마린엔지니어링학회지, 36(8), pp.1123~1128 (2012), 한국마린엔지니어링학회[DOI]