임베딩 모델을 통한 문장의 의미 및 구조적 유사성 비교 평가
Evaluation of Semantic and Structural Similarity of Sentences Using Embedding Models
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 검색 증강 생성(Retrieval-Augmented Generation)에서 활용되는 임베딩 모델의 중요성에 주목하여, 유사도 계산에 영향을 미치는 요인을 분석하였다. 임베딩 모델은 유사한 문장을 찾기 위해 텍스트를 실수 값의 벡터로 변환하고, 벡터 값을 기반으로 코사인 거리 값을 계산하여 그 결과에 따라 유사성을 결정 짓는다. 그러나, 해당 유사도 값이 문장의 의미적 유사도 외에도 다르게 해석할 수 있는 요인이 있어, 이를 찾아 분석하였다. 공개된 다양한 임베딩 모델을 대상으로 실험한 결과, 일부 모델은 문장의 구조적 유사성을 기준으로 유사도를 판단하는 경향이 있었으며, 동음이의어가 포함된 문장에서는 대부분의 모델이 정확한 유사도 평가를 하지 못하는 경우도 있었다. 본 연구는 모델별 성능 차이를 분석하고, 특정 목적에 적합한 임베딩 모델을 선택하는 방향성을 제시함으로써 RAG의 성능 개선에 기여할 수 있음을 보여준다.
Abstract
This paper focuses on the importance of embedding models used in Retrieval-Augmented Generation (RAG) and analyzes factors that influence similarity calculations. Embedding models convert text into real-valued vectors to identify similar sentences, with cosine distance being calculated based on these vectors to determine similarity. However, this similarity score can be influenced by factors other than semantic similarity. In this study, we analyze these factors. Experimental results with various publicly available embedding models reveal that some models tend to assess similarity based on sentence structure. Furthermore, most models struggle to accurately evaluate similarity when sentences contain homonyms. This study provides an analysis of performance differences between models and suggests guidelines for selecting embedding models appropriate for specific purposes, contributing to the performance enhancement of RAG systems.
참고문헌 (22)
- P. Lewis, "Retrieval-Augmented Generatio n for Knowledge-Intensive NLP Tasks", Advances in Neu ral Information Processing Systems, 33, pp.9459~9474 (2020)
- "Self-R AG: Learning to Retrieve, Generate, and Critique through Self-Reflection"[URL]
- "Corrective Retrieval Augmented Generation"[URL]
- N. Ampazis, "Improving RAG Quality for Large Langu age Models with Topic-Enhanced Reranking", Proc. of Artificial Intelligence Applications and Innovations 2024, pp.74~87 (2024)
- W. Yu, "Retrieval-augmented Generation across Heter ogeneous Knowledge", Proc. of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp.52~58 (2022)
- H. Kim, "Research Trends in Retrieval Augmented Generation and Vector Database Optimization for Artificial Intelligence Chatbots", Korean Institute of Information Scientists and Engineers, 42(3), pp.8~15 (2024)
- I. O. William, "Text Embedding Implementation Using Retrieval Augmented Generation (RA G) Model Combined With Large Language Model", International Journal of Advanced Natural Sciences and Engineering Researches, 8(4), pp.637~645 (2024)
- "BGE M3-Embedding : Multi-Lingual, Multi-Functionalit y, Multi-Granularity Text Embeddings Through Self-Kno wledge Distillation"[URL]
- "Sentence-BERT: Sentence Em beddings using Siamese BERT-Networks"[URL]
- "SimCSE: Simple Contrasti ve Learning of Sentence Embeddings"[URL]
- F. Feng, "Language-agnostic BERT Sentence Embedding", Proc. of the 60th Annual Meeting of the Association for Com putational Linguistics, pp.878~891 (2022)
- T. Schopf, "Effici ent Domain Adaptation of Sentence Embeddings Using Adapters", Proc. of International Conference Recent Adv ances in Natural Language Processing, pp.1046~1053 (2023)
- "Cross encoders and bi-encoders"[URL]