아비터 에이전트: 다중 에이전트 대화에서 발생하는 불일치를 감지하기 위한 지속적인 모니터링

The Arbiter Agent: Continually Monitoring Multi-Agent Conversations to Detect Emergent Misalignment

다수의 언어 모델 에이전트로 구성된 AI 시스템이 점점 더 보편화됨에 따라, 이러한 시스템은 의사 결정 과정에서 함께 논의하고 협상하며 공동 작업을 수행하는 데 사용됩니다. 개별 에이전트는 자체적으로 테스트할 때 잘 정렬되어 보이는 것처럼 보일 수 있지만, 에이전트 간의 상호 작용 방식에서 문제가 발생할 수 있습니다. 본 연구에서는 다중 에이전트 대화를 실시간으로 모니터링하고 어떤 참가자가 잘못된 방식으로 행동하는지 식별하도록 설계된 '아비터(Arbiter)'라는 에이전트를 소개합니다. 아비터는 제한적인 '검사 예산' 하에서 작동하며, 따라서 자원을 어떻게 사용할지에 대해 신중하게 결정해야 합니다. 대화를 단계별로 관찰하면서 아비터는 기다리거나, 참가자에게 질문하거나, 시스템 프롬프트나 추론 기록과 같은 내부 정보를 검토하거나, 문제 행동을 기록하는 등의 선택을 할 수 있습니다. 최종적으로 아비터는 불일치의 가능성이 높은 원인을 식별하는 보고서를 생성합니다. 우리는 위험한 금융 자문 모델부터 평가 인지형 및 공모 에이전트까지 다양한 대화 환경에서 아비터를 평가했습니다. 또한, 기능이 향상된 다섯 가지 도구 구성과 두 가지 기본 모델을 사용하여 테스트를 진행했습니다. 연구 결과, 아비터는 대화가 종료되기 훨씬 이전 단계에서 잘못 정렬된 에이전트를 안정적으로 감지할 수 있었으며, 적극적인 검사 도구를 사용하면 감지 정확도와 속도가 향상되었습니다. 가중치에 의해 유발되는 불일치는 탐지하기 가장 어려운 것으로 나타났으며, 지시에 의해 유발되는 불일치는 수동 관찰 상태에서도 안정적으로 식별될 수 있었습니다. 기록 도구는 재현율을 향상시키는 동시에 정밀도를 저하시키는 이중 효과를 보였습니다. 이러한 결과는 지속적이고 예산 제약 하에 이루어지는 모니터링이 불일치를 효과적으로 감지할 수 있으며, 다중 에이전트 시스템을 관리하는 데에는 감사자가 프로세스의 적극적인 참여자로 간주되어야 할 필요가 있음을 시사합니다. 관련 코드는 https://github.com/aisilab/arbiter 에서 확인할 수 있습니다.

As AI systems built from multiple language-model agents become more common, they are increasingly used to make decisions together: discussing, negotiating, and acting on shared tasks. While individual agents may appear well-aligned when tested on their own, problems can arise from how they interact with one another. We introduce the Arbiter, an agent designed to monitor multi-agent conversations in real time and identify which participants may be behaving in misaligned ways. The Arbiter operates under a limited "inspection budget", meaning it must decide carefully how to use its resources. As it observes a conversation step by step, it can choose to wait, question a participant, examine internal information such as system prompts or reasoning traces, or log concerning behavior. At the end, it produces a report identifying the likely source of misalignment. We evaluate the Arbiter across five conversation conditions, ranging from risky financial advice model organisms to evaluation-aware and colluding agents, we test five tool configurations of increasing capability and two backbone models. We find that the Arbiter reliably detects misaligned agents well before the end of the conversation, with active inspection tools improving both detection accuracy and speed. Weight-induced misalignment proves hardest to detect, while instruction-induced misalignment is identified reliably even under passive observation. The logging tool exhibits a dual effect, improving recall at the cost of precision. These results suggest that continual, budget-aware monitoring can effectively catch misalignment, and that overseeing multi-agent systems may require treating the auditor as an active participant in the process. The code is available at https://github.com/aisilab/arbiter.