본문 바로가기
KERD
논문KCI 등재

북한 조선어 형태소 분석 사전 구축에 관한 연구

A Study on Building a Morphological Analysis Dictionary for North Korean Language

스가이 요시노리
한국사전학회 (The Korean Association For Lexicography (Korealex))|2024.11|한국사전학 (Journal of Korealex)|제44호|pp. 33-63|DOI 10.33641/kolex.2024..44.33

1

조회

0

다운로드

0

인용

0

참고문헌

키워드

조선어형태소 분석morphological analysis로동신문Rodong Sinmun조선어 교재분석 사전MeCab(메카부)Joseoneo(North Korean language)morphological dictionaryMeCabJoseoneo textbooks
주제분류사전학

초록

본 연구는 북한의 조선어 문장을 자동 형태소 분석하기 위한 형태소 분석 사전을 구축하는 데 목적이 있다. 분석 엔진으로서는 오픈소스 소프트웨어인 “MeCab(메카부)”를 사용하였다. MeCab로 사전을 구축할 때 사전 항목이 등록된 ‘Seed 사전’과 기계 학습을 위한 ‘학습 데이터’가 필요한데 ‘Seed 사전’은 기존 한국어 형태소 분석 사전에 조선어 항목을 추가하여 약 21만 개 규모로 구성하였다. ‘학습 데이터’로는 먼저 한국어 형태소 분석 사전 구축 시에 사용한 데이터를 이용하였는데 『로동신문』 기사를 가지고 성능 평가를 실시한 결과 형태소 경계 판정에서 약 97.73%, 동음이의어 판정에서 약 92.11%의 성능을 보였다. ‘학습 데이터’를 다양하게 구성하여 성능 평가를 시도한 결과, 한국어 데이터에 『로동신문』과 북한의 유학생용 조선어 교재 데이터를 추가한 경우, 그리고 MeCab의 기능을 사용하여 한국어 데이터로 구축한 분석 사전을 조선어 데이터로 ‘재학습’한 경우, 성능을 향상시킬 수 있었다. 본 연구에서 구축한 분석 사전은 프로그래밍 언어를 통해서 사용할 수 있으며 또 분석 결과를 기존의 분석 도구에서 활용할 수도 있다는 점에서 매우 유용하다.

Abstract

The purpose of this study is to build a morphological dictionary for automatic morphological analysis of North Korean sentences. The open-source software “MeCab” was used as the analysis engine. When building a dictionary with MeCab, a 'seed dictionary' with registered dictionary entries and 'training data' for machine learning are required. The 'seed dictionary' is composed of about 210,000 entries by adding North Korean entries to an existing South Korean morphological analysis dictionary. As 'training data', we first used the data used to build the South Korean morphological analysis dictionary, and as a result of performance evaluation using articles from , we achieved about 97.73% for morpheme boundary judgment and 92.11% for homophone judgment. When we tried to evaluate the performance by varying the 'training data', we were able to improve the performance when we added data from and Korean textbooks for international students in North Korea to the South Korean data, and when we 'retrained' the analytic dictionary built with South Korean data with North Korean data using MeCab's features. The morphological dictionary built in this study is very useful in that it can be used through programming languages and the results can be utilized in existing analytical tools.

참고문헌 (50)

  1. 강승식, "한국어 형태소 분석과 정보 검색" (2003), 홍릉과학출판사
  2. 권종성, "조선어 정보처리" (1994), 과학백과사전종합출판사
  3. 김동찬, "조선어실용문법(조선어학전서 31)" (2005), 사회과학출판사
  4. 북한 ｢경제연구｣로 분석한 경제정책 변화: 텍스트 마이닝 접근법, "김수현", 한국은행 경제연구원, ~, pp.BOK 경제연구 제2020-6 (2020)
  5. 리승길, "조선어문법검사연구(조선어학전서 43)" (2005), 사회과학출판사
  6. 리승길, "조선어단어해석론(조선어학전서 50)" (2015), 사회과학출판사
  7. 리승길, "조선말규범집" (2010), 사회과학출판사
  8. 백승헌, "북한 매체 논조의 계량화를 통한 북한경제 변수와의 상관관계 검토: 김정은 시기를 중심으로", 경제논집, 59(1), pp.53~81 (2020), 서울대학교 경제연구소
  9. 북한 문화어 형태소 분석기 구현 연구: 최종 연구보고서, "서울대학교 인문대학 인문정보연구회", 문화체육부, ~ (1997)
  10. 스가이 요시노리, "자동 형태소 분석 기술을 이용한 한국어 읽기 보조 도구의 개발: 일본어 모어화자를 위한 기능을 중심으로", 한국어교육, 24(3), pp.139~159 (2013), 국제한국어교육학회
  11. 신현숙, "≪로동 신문≫을 통해 본 북한의 언어 현상", 한글, 200, pp.253~301 (1988), 한글학회
  12. 심광섭, "인접 조건 검사에 의한 초고속 한국어 형태소 분석", 정보과학회논문지: 소프트웨어 및 응용, 31(1), pp.89~99 (2004), 한국정보과학회
  13. 유혜원, "한국어 정보 처리의 이론과 실제" (2004), 제이앤씨
  14. 정순기, "조선어문법편람" (2001), 박이정
  15. 정유남, "딥러닝을 이용한 노동신문의 이념적 어휘 연구", 한국어학, 88, pp.213~245 (2020), 한국어학회
  16. 최운호, "북한 문화어 형태소 분석기(NKMA)의 어절 구조", 한국정보과학회 언어공학연구회 학술발표 논문집, 1998년도 제10회 한글 및 한국어 정보처리학술대회 (1998)
  17. 황화상, "한국어와 정보" (2006), 박이정
  18. 奥村学, "⾃然言語処理の基礎" (2010), コロナ社
  19. 菅野裕臣, "⽇本語と外国語との対照研究IV ⽇本語と朝鮮語 下巻 研究論⽂編" (1997), くろしお出版
  20. 須賀井義教, "MeCab を用いた現代韓国語の形態素解析", 朝鮮語教育研究会 第50回例会 (2011), 京都⼥⼦⼤学
  21. 須賀井義教, "MeCab（めかぶ）を用いた現代韓国語の形態素解析", 朝鮮語研究, 5, pp.283~312 (2013), 朝鮮語研究会
  22. 須賀井義教, "韓国・朝鮮史への新たな視座" (2017), 勉誠出版
  23. 須賀井義教, "15世紀朝鮮語の形態素解析について", 近畿⼤学教養·外国語教育センター紀要(外国語編), 1(2), pp.41~56 (2011), 近畿⼤学教養·外国語教育センター
  24. 平野善隆, "用言の活用を考慮した韓国語品詞体系の提案とそれを用いた韓国語形態素分析", 情報処理学専攻, pp.1997
  25. 村田寛, "15世紀朝鮮語の形態素解析の試み—MeCabを利用して—", 福岡⼤学研究部論集A: 人⽂科学編, 10(3), pp.17~28 (2010), 福岡⼤学
  26. 2008-CH-73,
  27. 2009-CH-84,
  28. 山本和英, "計算機処理のための韓国語言語体系と形態素処理", ⾃然言語処理, 7(4), pp.25~62 (2000), 言語処理学会
  29. "꼬꼬마 세종 말뭉치 활용 시스템"[URL]
  30. "로동신문"[URL]
  31. "우리말샘"[URL]
  32. "울산대학교 한국어처리연구실"[URL]
  33. "통일부 북한정보포털"[URL]
  34. "한나눔 한국어 형태소 분석기(HanNanum)"[URL]
  35. "HanDic: morphological analysis dictionary for contemporary Korean"[URL]
  36. "HanDic Tagger"[URL]
  37. "khaii"[URL]
  38. "KH Coder"[URL]
  39. "KIET 북한 산업·기업 DB"[URL]
  40. "KOMORAN @ Shineware"[URL]
  41. "KoNLPy: 파이썬 한국어 NLP"[URL]
  42. "Lawrence Anthony’s AntConc"[URL]
  43. "MeCab: Yet Another Part-of-Speech and Morphological Analyzer"[URL]
  44. "mecab-ipadic-neologd"[URL]
  45. "mecab-ko"[URL]
  46. "NK-HanDic: morphological analysis dictionary for North Korean language"[URL]
  47. "nkhandic"[URL]
  48. "open-korean-text"[URL]
  49. "The R Project for Statistical Computing"[URL]
  50. "UniDic"[URL]

관련 논문AI추천

북한어 말뭉치의 형태 분석에 관한 몇 가지 문제여은지인문학연구소 · 열린정신 인문학 연구2021 · 제22권 제3호한국어 형태소 분석을 위한 효율적 기분석 사전의 구성 방법곽수정, 김보겸, 이재성한국정보처리학회 · 정보처리학회 논문지2013 · 제2권 제12호옛한글 형태소 사전 구축을 위한 기법 연구강남오, 김재호한국지식정보기술학회 · 한국지식정보기술학회 논문지2021 · 제16권 제6호어휘 및 형태 정보를 이용한한국어 Two-level 어휘사전 자동 구축김보겸, 이재성한국정보처리학회 · 정보처리학회 논문지2013 · 제2권 제12호외국어로서의 조선어교육 연구를 위한 조선어 교재 말뭉치 구축에 관한 연구조현용, 스가이 요시노리언어정보연구원 · 언어사실과 관점2024 · 제63권 집단지성을 이용하는 개방형 형태소 분석기의 설계와 구현최석재언어정보연구소 · 언어와 정보 사회2014 · 제22권

이 간행물의 다른 논문 (8건)

한국어에 나타난 ‘행복’의 개념박만규pp. 7-32공공 용어 및 전문 용어와 사전이준환pp. 64-101국내외 사전의 인용례 현황 검토박도리, 윤지솔, 김지혜pp. 102-134<한국어기초사전>의 화용 정보 분석박지순pp. 135-164평가적 태도 부사 중 [본질(ESSENCE)]류 구문의 의미적 확장과 담화적 기능 - '본질적으로', '기본적으로', '핵심적으로'를 중심으로 -공나형pp. 165-190
원문 보기