도구 증강 LLM에서 발생하는 도구-메모리 충돌 연구

Investigating Tool-Memory Conflicts in Tool-Augmented LLMs

도구를 활용한 대규모 언어 모델(LLM)은 다양한 분야에서 활용되고 있습니다. 하지만, 이러한 모델들은 지식 충돌 문제를 겪을 가능성이 높습니다. 본 논문에서는 도구 증강 LLM에서 발생하는 새로운 유형의 지식 충돌인 '도구-메모리 충돌(Tool-Memory Conflict, TMC)'을 제안합니다. TMC는 내부 파라미터 기반 지식과 외부 도구 기반 지식 간의 모순을 의미합니다. 연구 결과, 기존 LLM들은 강력함에도 불구하고 TMC 문제, 특히 STEM 관련 작업에서 이러한 문제를 겪는 것으로 나타났습니다. 또한, 다양한 조건에서 도구 기반 지식과 파라미터 기반 지식이 서로 다른 우선순위를 가질 수 있다는 것을 확인했습니다. 마지막으로, 프롬프트 기반 및 RAG 기반 방법을 포함한 기존의 충돌 해결 기법들을 평가한 결과, 이러한 방법들이 도구-메모리 충돌을 효과적으로 해결하지 못한다는 것을 확인했습니다.

Tool-augmented large language models (LLMs) have powered many applications. However, they are likely to suffer from knowledge conflict. In this paper, we propose a new type of knowledge conflict -- Tool-Memory Conflict (TMC), where the internal parametric knowledge contradicts with the external tool knowledge for tool-augmented LLMs. We find that existing LLMs, though powerful, suffer from TMC, especially on STEM-related tasks. We also uncover that under different conditions, tool knowledge and parametric knowledge may be prioritized differently. We then evaluate existing conflict resolving techniques, including prompting-based and RAG-based methods. Results show that none of these approaches can effectively resolve tool-memory conflicts.