쿼리와 가상 문서 임베딩 결합을 활용한 제로샷 밀집 기반 검색 성능 향상 연구
A Study on Enhancing Zero-Shot Dense Retrieval Using Query and Hypothetical Document Embedding Combination
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
밀집 기반 검색은 사용자의 쿼리와 문서를 고차원 임베딩 벡터로 변환하여 벡터 공간에서 유사도를 계산하는 방식으로, 검색 엔진, 추천 시스템,법률 분야 등 다양한 도메인에서 널리 활용되고 있다. 이 방식은 전통적인 키워드 기반 검색보다 문맥적 의미를 더 효과적으로 반영할 수 있어복잡한 질의 처리에서 탁월한 성능을 보인다. 그러나 기존 밀집 기반 검색 기법은 짧고 모호한 쿼리에서 성능이 저하되거나, 제로샷 환경에서새로운 도메인에 적응하기 어렵다는 한계를 갖는다. 최근에는 풍부한 사전 학습 데이터를 바탕으로 도메인 특화 데이터 없이도 새로운 환경에서일반화된 성능을 제공할 수 있는 LLM 기반의 제로샷 밀집 검색이 주목 받고 있으며 관련 연구로 가상 문서를 생성하여 쿼리를 보완하는 형태인HyDE가 있다. 그러나 가상 문서 임베딩만으로 검색을 수행할 경우, 사용자 의도를 충분히 반영하지 못할 가능성이 존재하며, 이로 인해 검색성능이 제한될 수 있다. 본 연구는 이러한 한계를 극복하고자, 기존 제로샷 밀집 기반 검색 기법이 가지는 문제를 해결하기 위해 새로운 프레임워크를 제안한다. 이프레임워크는 쿼리 임베딩과 가상 문서 임베딩을 결합하여 쿼리의 의미적 맥락을 풍부하게 하고, 검색 공간을 확장하며 특히, 쿼리 복잡도를 기반으로한 동적 가중치 적용을 통해 임베딩 간의 기여도를 조정함으로써 더욱 정교하고 맞춤화된 검색 결과를 도출하였다. MS MARCO와 BEIR 데이터셋실험에서 제안된 프레임워크는 HyDE 대비 최대 8%의 성능 향상을 달성하였으며, nDCG@10 지표에서 고정 가중치를 사용한 경우보다 전반적으로높은 성능을 보이며, 검색 정밀도와 포괄성 간의 최적의 균형을 입증하였다. 본 연구는 효율적이고 범용적인 검색 솔루션을 제시하며, 멀티모달데이터와 복잡한 질의 처리 환경에서도 확장 가능성을 탐구함으로써 다양한 도메인에서의 활용 가능성을 제시한다.
Abstract
Dense retrieval transforms user queries and documents into high-dimensional embedding vectors and calculates their similarity in vectorspace, enabling effective contextual understanding. It is widely applied in search engines, recommendation systems, and legal domains,outperforming traditional keyword-based methods in handling complex queries. However, it struggles with short, ambiguous queries andadapting to new domains in zero-shot settings. Recent advancements, such as HyDE, leverage large language models (LLMs) to generatehypothetical documents to augment queries. Yet, relying solely on hypothetical embeddings may fail to fully capture user intent. This study proposes a novel framework that combines query and hypothetical document embeddings, dynamically adjusting theircontributions based on query complexity. This approach enhances semantic richness and customization for more accurate search results. Experiments on MS MARCO and BEIR datasets show up to 8% performance improvement over HyDE and demonstrate superior nDCG@10results with dynamic weights compared to fixed-weight methods. This framework offers a scalable, efficient solution applicable to variousdomains and complex query environments.