맥락 관련성을 고려한 어텐션 조정을 통한 다중 에이전트 통신 강화

Enhancing Multi-Agent Communication through Attention Steering with Context Relevance

LLM 기반의 다중 에이전트 시스템은 협력적 추론을 통해 복잡한 작업에서 뛰어난 성능을 보여주었습니다. 그러나 이러한 시스템은 상호 작용 과정에서 매우 긴 대화 기록을 빠르게 축적하는 경향이 있습니다. 대화가 길어질수록, 관련 정보는 점점 더 중요하지 않은 맥락에 의해 희석되어 성능 저하를 초래합니다. 본 연구에서는 Agent-Radar라는 훈련이 필요 없는 문맥 관리 방법을 제시합니다. Agent-Radar는 각 에이전트의 주의를 관련 맥락으로 동적으로 유도하기 위해 새로운 시간 및 공간 감쇠 메커니즘을 사용합니다. 실험 결과, Agent-Radar는 다섯 가지 서로 다른 벤치마크에서 최첨단 방법보다 우수한 성능을 보였으며, 최대 7.64점의 향상을 달성했습니다. 또한, 분석 결과, Agent-Radar는 에이전트 수와 상호 작용 횟수가 증가하더라도 효과적이고 견고하게 작동하는 것으로 나타났습니다. 마지막으로, ablation study를 통해 Agent-Radar의 핵심 구성 요소가 성능에 매우 중요하며 다양한 환경에서 일반화될 수 있음을 확인했습니다.

LLM-based multi-agent systems have demonstrated remarkable performance on complex tasks through collaborative reasoning. However, these systems tend to rapidly accumulate extremely long conversation histories during interaction. As conversations lengthen, relevant information is increasingly diluted by irrelevant context, leading to degraded performance. In this work, we present Agent-Radar, a training-free context management method that dynamically steers each agent's attention toward relevant context with a novel temporal and spatial decay mechanism. Our experiments demonstrate that Agent-Radar outperforms state-of-the-art methods across five different benchmarks, yielding gains of up to 7.64 absolute points. Furthermore, our analysis shows that Agent-Radar remains effective and robust as the number of agents and interaction rounds increases. Finally, the ablation study shows that core components in Agent-Radar are crucial to performance and generalizable in different settings.