자기 수정 에이전트가 실제로 얼마나 많은 LLM을 필요로 할까?

How Much LLM Does a Self-Revising Agent Actually Need?

최근의 LLM 기반 에이전트들은 종종 세계 모델링, 계획, 그리고 성찰 기능을 하나의 언어 모델 루프 내에 통합합니다. 이러한 방식은 뛰어난 성능을 발휘할 수 있지만, 기본적인 과학적 질문에 대한 답을 어렵게 만듭니다. 즉, 에이전트의 역량 중 어느 부분이 실제로 LLM에서 비롯되는지, 그리고 어느 부분이 LLM 주변의 명시적인 구조에서 비롯되는지입니다. 본 연구는 일반적인 답을 제시하기보다는, 이 질문을 실증적으로 검증 가능하도록 만들기 위해 진행되었습니다. 우리는 에이전트의 상태, 신뢰도 신호, 제한된 행동, 그리고 가상적인 전환을 검사 가능한 런타임 구조로 외부화하는 선언적 리플렉티브 런타임 프로토콜을 소개합니다. 이 프로토콜을 선언적 런타임에 구현하고, 54번의 게임(18개의 보드 $ imes$ 3개의 시드) 동안 노이즈가 있는 협력형 Battleship [4] 게임에서 네 가지 점진적으로 구조화된 에이전트를 사용하여 평가했습니다. 결과적으로 네 가지 구성 요소로 분해할 수 있었습니다. 즉, 사후 신뢰 추적, 명시적인 세계 모델 기반 계획, 기호 기반 에피소드 내 성찰, 그리고 희소한 LLM 기반 수정입니다. 이러한 분해를 통해, 명시적인 세계 모델 기반 계획은 탐욕적인 사후 추종 기준보다 성능이 크게 향상되었습니다 (+24.1pp 승률 증가, +0.017 F1 증가). 기호 기반 성찰은 예측 추적, 신뢰도 게이팅, 그리고 제한된 수정 행동과 같은 실제 런타임 메커니즘으로 작동합니다. 현재는 전체적으로 긍정적인 영향을 미치지는 못하지만, 이러한 기능이 작동하고 있다는 점이 중요합니다. 조건부 LLM 수정을 턴의 약 4.3%에서 추가했을 때, 평균 F1 점수는 약간 상승(+0.005)하지만, 승률은 감소했습니다 (31 $ ightarrow$ 29 / 54). 이러한 결과는 순위 경쟁을 목표로 하기보다는 방법론적인 기여를 강조합니다. 즉, 성찰을 외부화함으로써, 기존에는 숨겨져 있던 에이전트의 행동을 검사 가능한 런타임 구조로 변환하여, LLM 개입의 제한적인 역할을 직접적으로 연구할 수 있게 합니다.

Recent LLM-based agents often place world modeling, planning, and reflection inside a single language model loop. This can produce capable behavior, but it makes a basic scientific question difficult to answer: which part of the agent's competence actually comes from the LLM, and which part comes from explicit structure around it? We study this question not by claiming a general answer, but by making it empirically tractable. We introduce a declared reflective runtime protocol that externalizes agent state, confidence signals, guarded actions, and hypothetical transitions into inspectable runtime structure. We instantiate this protocol in a declarative runtime and evaluate it on noisy Collaborative Battleship [4] using four progressively structured agents over 54 games (18 boards $\times$ 3 seeds). The resulting decomposition isolates four components: posterior belief tracking, explicit world-model planning, symbolic in-episode reflection, and sparse LLM-based revision. Across this decomposition, explicit world-model planning improves substantially over a greedy posterior-following baseline (+24.1pp win rate, +0.017 F1). Symbolic reflection operates as a real runtime mechanism -- with prediction tracking, confidence gating, and guarded revision actions -- even though its current revision presets are not yet net-positive in aggregate. Adding conditional LLM revision at about 4.3\% of turns yields only a small and non-monotonic change: average F1 rises slightly (+0.005) while win rate drops (31$\rightarrow$29 out of 54). These results suggest a methodological contribution rather than a leaderboard claim: externalizing reflection turns otherwise latent agent behavior into inspectable runtime structure, allowing the marginal role of LLM intervention to be studied directly.