LLM 기반 작업지향 대화 데이터 생성 방법론의 한국어 카페 도메인 적용 및 품질 비교 연구
A Study on the Application and Quality Comparison of LLM-Based Task-Oriented Dialogue Data Generation Methodology in the Korean Cafe Domain
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
HR-MultiWOZ 방법론은 최근 대규모 언어 모델(LLM)을 활용한 작업 지향 대화(Task-Oriented Dialogue, TOD) 데이터 생성의 효율적인 접근법으로 주목받고 있다. 이 방법론은 인사(HR) 도메인에서 최초의 합성 TOD 데이터셋을 제안하였으며, 스키마 기반 설계와 최소한의 인적 개입을 통해 비용 효율성을 주장하였다. 그러나 해당 연구는 프롬프트 설계가 데이터 품질에 미치는 영향과 비영어권 언어 및 HR 이외 도메인에서의 적용 가능성을 충분히 다루지는 않았다는 한계를 갖는다. 이에 따라 본 연구는 HR-MultiWOZ 방법론의 적용 가능성을 한국어와 카페 도메인 중심으로 확인하는 사례 연구 형태로 진행된다. 본 연구에서는 실험을 통해 간단한 프롬프트 조정만으로도 LLM이 생성하는 대화의 특성을 효과적으로 제어할 수 있음을 확인하였으며, 결과적으로HR-MultiWOZ 방법론의 확장성과 대화 데이터 품질 형성에 있어 프롬프트 설계가 핵심적 역할을수행할 수 있음을 입증하였다.
Abstract
HR-MultiWOZ methodology has recently emerged as an efficient approach for generating Task-Oriented Dialogue (TOD) data with Large Language Models (LLMs). It introduced the first synthetic TOD dataset in the Human Resources (HR) domain, highlighting cost-effectiveness through schema-based design and minimal human input. However, the influence of prompt design on data quality and its applicability to non-English languages or domains beyond HR remain underexplored. Accordingly, this study is conducted as a case study to empirically examine the applicability of the HR-MultiWOZ methodology to Korean and café ordering. Results show that simple prompt adjustments can effectively control the characteristics of LLM-generated dialogue (LGD), underscoring the methodology’s scalability and the pivotal role of prompt design in shaping dialogue data quality.