코퍼스에 의한 일본어 이은말 연구
A Corpus Based Study on Japanese Collocations
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
本稿の目的は、日本語におけるコロケーションを抽出するにあたって、様々な統計的方法の中で適切なモデル提示することである。本稿で用いる統計的方法は、ダイス係数、Jaccard係数、シンプソン係数(Simpson’s Coefficient)、相互情報量(MutualInformation)、コサイン類似度(Cosine Similarity)、対数尤度比(log-likelihood ratio)、t検定(t-test)である。 結果は次のようである。(1)日本語のコロケーションを抽出するにあたって一番有用な統計的方法は対数尤度比である。対数尤度比は、本稿における統計方法のうち最も均衡のとれた指標を表わし、他の測定値に増さっていることがわかった。(2)ダイス係数は、もっとも簡単な統計方法ではあるが、日本語の書き言葉コーパスを用いてコロケーションを抽出する際、安定的な統計モデルである。(3)t検定は共起頻度に比例してその共起強度のスコアが決まるもので、習慣的な共起関係にある語の評価に優れている。(4)コーパスの大きさのみならず、文体(話し言葉と書き言葉)によっても検出されるコロケーションに差がある。したがって、種類の違う複数のコーパスから抽出されたコロケーション候補に統計的指標をあててコロケーションリストを作成することが望ましい。
Abstract
The aim of this paper is to present the most useful statistical data‐extracting tools using various statistical methods and comparing the values with each other in order to provide the best method or model for defining the collocational configuration of Japanese in a statistical manner. We considered seven statistical measures: Dice’s Coefficient, Jaccard Index, Simpson’s Coefficient, Mutual Information, Cosine Similarity, Log‐likelihood ratio, and t-test. The results are summarised as follows; (i) One of the most useful methods for extracting Japanese collocations is the log‐likelihood ratio. The log- likelihood ratio provided the most balanced indicator of the statistical methods used in this article and also turned out to be better than or at least not inferior to the other measures; (ii) The Dice’s coefficient was a simple statistical method but confirmed to be one of the most stable statistical toolsto extract collocations from Japanese corpora; (iii) Since the t-score is proportional to the co-occurrence frequency, it can be effectively utilized to detect a conventionally co-occurring word.
참고문헌 (23)
- 박만규, "관용표현의 범주적 정체성 확립을 위하여－의미론적 분석을 중심으로－", 國語學, 41, pp.307~353 (2003), 국어학회
- 박병선, "국어 공기관계의 계량언어학적 연구", 박사, 국어국문학, pp.2003
- 박진호, "관용표현의 통사론과 의미론", 國語學, 41, pp.361~379 (2003), 국어학회
- 신효필, "연어의 통계적 접근을 통한 로그 우도비 중심의 연어 검증", 언어학, (47), pp.107~138 (2007), 사단법인 한국언어학회
- 이은하, "한국어 구어 말뭉치를 대상으로 한 연어구성 추출 방법들의 비교: 재현가능 연구", 언어와언어학, (70), pp.497~540 (2016), 언어연구소[DOI]
- 임근석, "현대 한국어 연어 연구", 박사, 국어국문학과, pp.2006
- 임유종, "연어의 개념과 범주 한정의 제 문제", 국제어문, (36), pp.145~181 (2006), 국제어문학회
- 임홍빈, "한국어 연어의 개념과 그 통사·의미적 성격", 國語學, 39, pp.279~311 (2002), 국어학회
- 조은영, "어휘적 연어의 형성과 유추", 한국어학, 48, pp.299~331 (2010), 한국어학회
- 石川慎一郎, "言語コーパスからのコロケーション検出の手法：基礎的統計値について", 統計数理研究所共同研究レポート, 190, pp.225~243 (2006), 統計数理研究所
- 石川慎一郎, "コロケーションの強度をどう測るかーダイス係数、tスコア、相互情報量を中心としてー", 言語処理学会第14回大会チュートリアル資料, pp.40~50 (2008), 言語処理学会
- 石川慎一郎, "ベーシックコーパス言語学", pp.126~130 (2012), ひつじ書房
- 大曾美恵子, "レキシコンフォーラムNo.1", pp.11~23 (2005), ひつじ書房
- 国広哲弥, "理想の国語辞典", pp.126~131 (1997), 大修館書店
- 仁科恭徳, "bloody hellーbloodyの共起語抽出に関してー, in 明治学院大学教養教育センター紀要", カルチュール, 8(1), pp.55~63 (2014), 明治学院大学教養教育センター
- 野田尚史, "文法的なコロケーションと意味的なコロケーション", 日本語学, 26(10), pp.18~27 (2007), 明治書院
- 堀 正広, "英語コロケーション研究", pp.6~17 (2011), 研究社
- 宮地裕, "慣用句の周辺―連語․ことわざ․複合語", 日本語学, 4(1), pp.62~75 (1985), 明治書院
- Manning, C., "Foundations of statistical Natural Language Processing", pp.191~227 (2000), The MIT press
- Park, Seraku, Kiaer, "Issues in defining", extracting collocations in Japanese and Korean: Empirical implications for building a collocation database, 2016, pp.2, e00189~
- a 250 million-word corpus of written Japanese, , 2017
- "BCCWJ-NT［現代日本語書き言葉コーパス(通常版)］", ~ (2017)
- "国立国語研究所․情報通信研究機構(旧通信総合研究所)․東京工業大学이 공동 개발한 日本語話し言葉コーパス(Corpus of Spontaneous Japanese : CSJ)』 코어 데이터를 검색하기 위해 전문검색시스템 “ひまわり” 툴을 사용했다. CSJ ver. 2.0은 CSJ 본체의 코어(45시간, 50만어)를 기본으로 한 데이터이다", ~ (2017)