빈도 정보를 이용한 한국어 저자 판별
Authorship Attribution in Korean Using Frequency Profiles
2
조회
0
다운로드
25
인용
0
참고문헌
키워드
초록
본고에서는 빈도 정보를 이용한 저자 판별 (authorship attribution) 기법을 한국어에 적용한 연구를 소개한다. 그 대상으로는 정형화된 장르인 신문 칼럼을, 구체적으로는 조선일보에 연재 중인 4인 칼럼니스트들의 각 40개 칼럼, 총 160개 칼럼 텍스트를 선정하였다. 이들에 대하여 어절, 음절, 형태소, 각 단위 2연쇄 등의 다양한 언어 단위들의 빈도 정보들을 이용한 저자 판별을 시도한 결과, 형태소 빈도를 기반으로 하여 최고 93%를 넘는 높은 예측 정확도를 얻을 수 있었다. 또한, 저자 개인 문체간의 거리도 빈도 정보로써 계량적 표상이 가능함을 보일 수 있었다. 이로써 빈도 분석과 같은 통계적, 계량적 방법을 통하여 한국어 텍스트에 대한 성공적인 저자 판별과 개인 문체의 정량화가 가능하다는 결론을 내릴 수 있다.
Abstract
This paper presents an authorship attribution study in Korean conducted on a corpus of newspaper column texts. Based on the data set consisting of a total of 160 columns written by four columnists of Chosun Daily, the approach utilizes relative frequencies of various lexical units in Korean such as fully inflected words, morphemes, syllables and their bigrams in an attempt to establish authorship of a blind text selected from the set. Among these various lexical units, "the morpheme" is found to be most effective in predicting who among the four potential candidates authored a text, reporting accuracies of over 93%. The results indicate that quantitative and statistical techniques in authorship attribution and computational stylistics can be successfully applied to Korean texts.
참고문헌 (15)
- 이도길, "한국어 형태소 분석과 품사 부착을 위한 확률모형.고려대학교 박사학위 논문", 박사, pp.2005
- Brinegar,C.S, "Mark Twain and the Quintus Curtius Snodgrass Letters: a statistical test of authorship", Journal of the American Statistical Association, 58, pp.85~96 (1963)
- Chaski,C.E, "Empirical evaluation of language-based author identification techniques", Forensic Linguistics, 8, pp.1~65 (2001)
- Diederich, J, "Authorship attribution with support vector machines", Applied Intelligence, 19, pp.109~123 (2003)
- Forsyth, R. S, "Feature-finding for text classification", Literary and Linguistic Computing, 11, pp.163~174 (1996)
- Grieve,J, "Quantitative authorship attribution: an evaluation of techniques", Literary and Linguistic Computing, 22, pp.251~270 (2007)
- Hirst, G, "Bigrams of syntactic labels for authorship discrimination of short texts", Literary and Linguistic Computing, 22(4) (2007)
- Holmes, D, "The Federalist revisited: new directions in authorship attribution", Literary and Linguistic Computing, 10, pp.111~127 (1995)
- Juola,P, "Authorship Attribution" (2008), Now Publishers, Inc.
- Keselj, V., "N-gram based author profiles for authorship attribution", Pacific Association for Computational Linguistics (2003)
- Love,H, "Attributing Authorship: An Introduction" (2002), Cambridge University Press
- Luyckx, K, "Authorship attribution and verification with many authors and limited data", the 22nd International Conference on Computational Linguistics. (2008)
- O'Brien, D. P, "Authorship Puzzles in the History of Economics: A Statistical Approach" (1982), Macmillan
- Peng, F, "Language independent authorship attribution using character level language models", Tenth Conference of the European Chapter of the Association for Computational Linguistics (2003)
- 2005, "A comparative study of language models for book and author recognition. Lecture Notes in Computer Science. Volume 3651", pp.2005, Uzuner, O