LLMs 기반 추론 경로 자가보완을 통한 KGQA 효율성 향상을 위한 연구
Research on improving KGQA efficiency using self-enhancement of reasoning paths based on Large Language Models
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 KGQA의 답변 성능 및 설명력을 높이기 위해 제공된 추론 경로를 스스로 평가하고 보강하는 방법을 제안한다. 제안하는 방법에서는 LLMs와 GNN을 활용하여 질의와 관련된추론 경로를 지식 그래프에서 검색하였다. 검색된 추론 경로를 LLMs가 자가적으로 평가하여 보완이 필요하다고 판단될 경우, 질문과 관련된 외부 정보를 찾고 트리플로 변환하여 지식 그래프에 추가하였다. 이에 따라 LLMs가 보강된 트리플 셋을 통해 정답과 이유를 설명할 수 있도록 하였다. 추론 경로는 추론 결과 혹은 경로가 의미상으로 질문과 관계가 있는지 LLMs 스스로 평가하도록 하였으며, 텍스트 유사도를 통해 질문과 관련된 텍스트를 찾아내어 추론 경로를 보강하여LLMs가 기존보다 정확하게 질문에 대한 정답을 설명할 수 있도록 하였다. WebQuestion Semantic Parsing 데이터셋을 이용하여 제안 방법의 성능을 평가한 결과, 기존 방법으로 생성한 추론 경로보다 높은 정확도로 정답을 제공하고 더 많은 종류의 질문에 설명을 출력하는 것을 증명하였다.
Abstract
In this study, we propose a method to augment the provided reasoning paths to improve the answer performance and explanatory power of KGQA. In the proposed method, we utilize LLMs and GNNs to retrieve reasoning paths related to the question from the knowledge graph and evaluate reasoning paths. Then, we retrieve the external information related to the question and then converted into triples to answer the question and explain the reason. Our method evaluates the reasoning path by checking inference results and semantically by itself. In addition, we find related texts to the question based on their similarity and converting them into triples of knowledge graph. We evaluated the performance of the proposed method using the WebQuestion Semantic Parsing dataset, and found that it provides correct answers with higher accuracy and more questions with explanations than the reasoning paths by the previous research.
참고문헌 (24)
- T. B. Brown, "Language models are few-shot learners", Proceedings of Advances in Neural Information Processing Systems, 33, pp.1877~1901 (2020)
- A. Chowdhery, "Palm : Scaling language modeling with pathways", Journal of Machine Learning Research, 24(240), pp.11324~11436 (2024)
- Y. Dai, "A survey on knowledge graph embedding : Approaches, applications and benchmarks", Electronics, 9(5), pp.750~ (2020)[DOI]
- N. Kandpal, "Large language models struggle to learn long-tail knowledge", Proceedings of Machine Learning Research, pp.15696~15707 (2023)
- S. Xu, "Search-in-the-Chain : Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks", Proceedings of the ACM Web Conference, pp.1362~1373 (2024)
- J. Berant, "Semantic parsing on freebase from question-answer pairs", Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp.1533~1544 (2013)
- J. Zhou, "Graph neural networks : A review of methods and applications", AI Open, 1, pp.57~81 (2020)[DOI]
- H. K. Choi, "NuTrea : Neural Tree Search for Context-Guided Multi-Hop KGQA", Proceedings of Advances in Neural Information Processing Systems, 36 (2024)
- Z. Xiong, "FastStore : A High-Performance RDMA-Enabled Distributed Key-Value Store with Persistent Memory", Proceedings of the 2023 IEEE 43rd International Conference on Distributed Computing Systems, pp.406~417 (2023)
- J. Ren, "Self-evaluation improves selective generation in large language models", Proceedings of Machine Learning Research, pp.49~64 (2023)
- K. Bollacker, "Freebase : A collaboratively created graph database for structuring human knowledge", Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data, pp.1247~1250 (2008)