한국어 학습자 구어 말뭉치의 전사자 간 일치도 연구 - 중국인 학습자의 음성 자료를 중심으로 -
A Study on Inter-transcriber Reliability of Korean Learners' Spoken Corpus - Focusing on Chinese Learner's Spoken Data -
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구는 현재 한국어 학습자 구어 말뭉치 전사의 실제 양상을 확인하 고 개선 방안을 제시하기 위하여 한국어 학습자 구어 말뭉치를 구축하 는 과정에서 나타나는 전사자 간 일치도와 전사자들의 전사 양상을 살펴보는 것을 목적으로 한다. 이를 위하여 중국인 학습자가 생산한 음성 자료를 6명의 전사자가 전사하였으며, 음소 위치별로 전사자들의 오류 판단 여부에 대한 일치도를 플레이스 카파(Fleiss's Kappa) 계수와 코헨 카파(Cohen's Kappa) 계수를 통하여 확인하였다. 또한 불일치 어절의 개별 전사 양상 역시 질적으로 살펴보았다. 플레이스 카파 계수를 사용하여 통계적으로 분석한 결과, 초성(0.302), 중성(0.345)에 서의 전체적 일치도는 적당한(Fair) 수준으로, 종성(0.473)에서의 전체 적 일치도는 준수한(Moderate) 수준으로 나타났다. 이후 코헨 카파 계수를 사용하여 개별 전사자들 사이에 일대일로 나타나는 일치도를 분석하였다. 개별 일치도 역시 대체로 적당한(Fair) 수준과 준수한 (Moderate) 수준에 걸쳐 분포하는 것을 확인하였다. 그러나 전사자들의 개별 전사 양상을 분석한 결과, 학습자가 발화한 음소나 변이음을 판정하는 데 있어서는 전사자 간 불일치가 지속적으로 일어나는 것을 확인하였다. 본 연구는 한국어 학습자 구어 말뭉치 구축 과정에서 나타나는 전사자 간 일치도를 다룬 최초의 연구라는 점에서 의의가 있다. 또한 본 연구의 결과는 기구축된 한국어 학습자 구어 말뭉치 평가 및 개선에 사용될 수 있다.
Abstract
The purpose of this study is to examine the inter-transcriber agreement and the transcriptional patterns of transcribers in the process of constructing the Korean Learners' Spoken Corpus. This will confirm the actual aspect of the transcription of the Korean Learners' Spoken Corpus and suggest direction for improvement. For this purpose, spoken data of a Chinese learner was transcribed by 6 transcribers, and the reliability on whether or not transcribers judged errors by phoneme position was confirmed through the Fleiss' Kappa and the Cohen's Kappa. The transcriptional aspect of inconsistent word segments was also examined. Statistical analysis using the Fleiss' Kappa coefficient showed that the overall agreement in the initial(0.302) and the medial(0.345) was at a fair level, and the overall agreement in the final(0.473) was found to be at a moderate level. The one-to-one correspondence between individual transcribers was analyzed using Cohen's Kappa. It was also confirmed that the individual agreement was also generally distributed over the Fair and Moderate level. However, as a result of analyzing the individual transcription patterns, it was confirmed that discrepancies between transcribers continued to occur in judging the phonemes or variant sounds spoken by the learner. This study is significant in that it is the first study to deal with the inter-transcriber reliability during the construction of the Korean Learners' Spoken Corpus. The results of this study can be used to evaluate and improve the Korean Learners' Spoken Corpus.
참고문헌 (14)
- 2019-20년 한국어 학습자 말뭉치 연구 및 구축 사업, "국립국어원", 국립국어원, ~ (2020)
- 유현경, "한국어 표준 문법" (2019), 집문당
- Cole, R. A., "New Telephone Speech Corpora at CSLU", Proc. 4th European Conference on Speech Communication and Technology, pp.821~824 (1995)
- Cole, R. A., "Labeler Agreement in Phonetic Labeling of Continuous Speech", Proceedings ICSLP94, pp.2131~2134 (1994)
- Ferber, R., "Reliability and validity of slip-of-the-tongue corpora: A methodological note", Linguistics, 33(6), pp.1169~1190 (1995)
- "DARPA TIMIT: acoustic-phonetic continuous speech corpus CD-ROM, NIST speech disc 1-1.1(NIST IR 4930)" (1993)[URL]
- Gut, U., "Measuring the Reliability of Manual Annotations of Speech Corpora", Speech Prosody 2004, ~ (2004)
- Lander, T., "Multi-language Speech Database: Creation and Phonetic Labeling Agreement", Proceedings of the International Congress of Phonetic Science (1995)
- Landis, J. R., "The Measurement of Observer Agreement for Categorical Data", Biometrics, 33(1), pp.159~174 (1977)
- Patterson, B. R., "A Preliminary Examinaion of Conversation Analytic Techniques : Rates of Inter-Transcriber Reliability", Western Journal of Communication, 60(1), pp.76~91 (1996)
- Pitt, M. A., "The Buckeye corpus of conversational speech: Labeling conventions and a test of transcriber reliability", Speech Communication, 45(1), pp.89~95 (2005)
- Seneff, S., "In the TIMIT CDROM documentation" (1988), Linguistic Data Consortium
- Strik, H., "Modeling pronunciation variation for ASR : a survey of the literature", Speech Communication, 29, pp.225~246 (1999)
- Zechner, K., "What did they actually say? Agreement and Disagreement among Transcribers of Non-Native Spontaneous Speech Responses in an English Proficiency Test", Proceedings of SLaTE2009, pp.25~28 (2009)