「HUFS韓日双方向並列コーパス (HUFS-KJBPC)」の構築と活用
Construction and Utilization of the HUFS Korean-Japanese Bidirectional Parallel Corpus (HUFS-KJBPC)
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 한일 대조언어학 연구, 즉 한국어와 일본어의 공통점과 차이점을 분석하는 데 큰 도움이 될 수 있는, 심층 언어 정보가 부여된 대규모 병렬 말뭉치가 부족하다는 과제에 대응하기 위해 ‘HUFS 한일 양방향 병렬 말뭉치(Hankuk University of Foreign Studies - Korean Japanese Bidirectional Parallel Corpus、HUFS-KJBPC)’를 설계・구축하였다. 이를 위해 AI Hub에서 제공하는 ‘방송 콘텐츠’, ‘라이브 스트리밍’, ‘전문 분야 번역’ 등 총 3종의 병렬 데이터를 기반으로 전처리 및 품질 관리 과정을 거쳐, 총 366만 문장 쌍(한→일 약 261만, 일→한 약 105만) 규모의 말뭉치를 구축하였다. 본 말뭉치의 가장 큰 특징은 단순히 문장 쌍을 정렬하는 데 그치지 않고, 모든 데이터에 대해 한국어는 꼬꼬마(Kkma), 일본어는 fugashi 형태소 분석기를 사용하여, 형태소 분석 결과와 품사 태그 정보를 부착한 심층 말뭉치(Annotated Deep Corpus)라는 점이다. 이러한 심층적인 주석 정보는 기존의 문장 단위 비교를 넘어, 특정 형태소의 대응 양상을 정량적으로 분석하고 이를 통해 두 언어의 구조와 체계 간의 미세한 차이를 실증적으로 탐구할 수 있는 전향적인 연구의 실마리를 제공하며, 한일 대조언어학 분야에 계량적 분석 방법론을 적용하고 발전시키는 기반이 될 것으로 기대된다. 한편, 본 연구에서 구축한 말뭉치는 Ver.1로서 향후 발전을 위한 몇 가지 과제도 남아 있다. 문어/구어 데이터의 양적・질적 균형성 확보 및 전체적인 규모 확대, 구문 분석 정보 추가를 통한 심층 말뭉치로서의 기능 강화, 중복률 등 품질관리 프로세스의 강화 등을 통해 지속적으로 말뭉치의 활용 가능성을 높여나갈 계획이다. 본 연구에서 구축한 HUFS-KJBPC가 향후 한국어와 일본어 양 언어 연구의 실증적인 분석을 위한 기반 자원으로 널리 활용되어 양 언어의 이해를 높이는 데 일조할 것으로 기대된다.
Abstract
This study presents the design and construction of the “Hankuk University of Foreign Studies – Korean Japanese Bidirectional Parallel Corpus (HUFS- KJBPC)” in response to the shortage of large-scale parallel corpora with deep linguistic annotation that can substantially advance contrastive research between Korean and Japanese. Using three parallel datasets provided by AI Hub—Broadcast Content, Live Streaming, and Domain-Specific Translation—we carried out data preprocessing and quality-control procedures, ultimately compiling 3.66 million sentence pairs. A distinguishing feature of our corpus is that every sentence pair is accompanied by detailed linguistic annotation: morpheme segmentation and part-of-speech tags generated with the Kkma analyzer for Korean and Fugashi for Japanese. These deep annotations enable researchers to move beyond sentence-level alignment and to quantitatively examine cross-linguistic correspondences at the morpheme level, thereby offering empirical insights into fine-grained structural differences between the two languages. We anticipate that the HUFS-KJBPC will serve as a robust foundation for applying and developing quantitative methods in Korean–Japanese contrastive linguistics. As version 1, the corpus still faces several future challenges: balancing and expanding spoken and written data, enriching the annotation with syntactic parses, and strengthening quality-control pipelines (e.g., deduplication). Through these improvements, we aim to enhance the corpus’s utility and promote its widespread adoption as an empirical resource for deepening our understanding of both languages.