에이전트가 스스로와 불일치할 때: LLM 기반 에이전트의 행동 일관성 측정

When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents

동일한 LLM 에이전트에게 동일한 작업을 두 번 수행하게 하면 동일한 행동을 보일까요? 우리는 그 대답이 종종 '아니오'라는 것을 발견했습니다. HotpotQA에서 세 가지 모델(Llama 3.1 70B, GPT-4o, Claude Sonnet 4.5)을 대상으로 3,000번의 에이전트 실행을 연구한 결과, ReAct 방식의 에이전트는 동일한 입력값에도 불구하고 10회 실행 당 평균 2.0~4.2개의 서로 다른 행동 시퀀스를 생성하는 것으로 나타났습니다. 더 중요한 점은 이러한 변동성이 실패를 예측한다는 것입니다. 일관된 행동(고유 경로 2개 이하)을 보인 작업은 80~92%의 정확도를 달성한 반면, 매우 일관되지 않은 작업(고유 경로 6개 이상)은 25~60%에 그쳐 모델에 따라 32~55% 포인트의 격차를 보였습니다. 우리는 이러한 변동성의 원인을 초기 결정에서 찾았으며, 분기의 69%는 첫 번째 검색 쿼리인 2단계에서 발생합니다. 우리의 결과는 실행 중 행동 일관성을 모니터링함으로써 조기에 오류를 탐지하고 에이전트의 신뢰성을 향상시킬 수 있음을 시사합니다.

Run the same LLM agent on the same task twice: do you get the same behavior? We find the answer is often no. In a study of 3,000 agent runs across three models (Llama 3.1 70B, GPT-4o, and Claude Sonnet 4.5) on HotpotQA, we observe that ReAct-style agents produce 2.0--4.2 distinct action sequences per 10 runs on average, even with identical inputs. More importantly, this variance predicts failure: tasks with consistent behavior ($\leq$2 unique paths) achieve 80--92% accuracy, while highly inconsistent tasks ($\geq$6 unique paths) achieve only 25--60%, a 32--55 percentage point gap depending on model. We trace variance to early decisions: 69% of divergence occurs at step 2, the first search query. Our results suggest that monitoring behavioral consistency during execution could enable early error detection and improve agent reliability.