AgenticSTS: 장기적인 목표를 가진 LLM 에이전트를 위한 제한된 메모리 테스트 환경

AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

장기적인 목표를 가진 LLM 에이전트의 경우, 메모리는 각 미래 결정이 어떤 정보를 활용할 수 있는지를 규정하는 중요한 요소입니다. 가장 간단한 방식은 과거 관찰 내용, 도구 호출 기록, 그리고 사고 과정을 모든 프롬프트에 추가하는 것이지만, 이는 이전 컨텍스트에 쉽게 접근할 수 있게 하지만 동시에 정보가 뒤섞여 개별 메모리 구성 요소의 효과를 분리하기 어렵게 만듭니다. 본 연구에서는 이러한 단점을 극복하기 위해 제한된 범위 내에서 정보를 활용하는 새로운 방식을 제안합니다. 즉, 각 결정은 유형 기반 검색을 통해 조립된 새로운 사용자 메시지를 기반으로 이루어지며, 이전 결정 기록이 그대로 추가되지 않습니다. 이를 통해 프롬프트의 크기가 실행 횟수에 관계없이 일정하게 유지되며, 개별 레이어를 독립적으로 분석할 수 있습니다. 제안하는 방식을 Slay the Spire 2라는 게임에 적용하여 검증했습니다. 이 게임은 확률 기반의 카드 게임으로, 플레이 한 번마다 수백 개의 전술적, 전략적 결정을 내려야 합니다. 동일한 게임을 대상으로 진행된 LLM 성능 평가에서는 가장 낮은 난이도에서도 거의 승리하지 못했으며, 개발자가 보고한 인간 플레이어의 승률은 16%였습니다. 즉, 이 과제는 어렵지만 아직 해결 가능성이 남아있습니다. 저희가 구축한 환경에서 특정 기능을 비활성화했을 때 가장 큰 차이가 발생하는 것을 확인했습니다. 기능이 없는 기본 모델은 10번 중 3번의 게임에서 승리하는 반면, 해당 기능을 활성화하면 6번의 게임에서 승리합니다. (표본 크기가 작아 통계적으로 유의미하다고 단정하기는 어렵습니다; Fisher 정확 검정 p ≈ 0.37). 또한, 다른 모델과의 성능 비교 및 기존 방식과 비교 분석을 통해 제안하는 방식을 검증했습니다. 본 연구에서는 재현 가능한 테스트 환경을 공개합니다. 여기에는 298개의 완료된 플레이 기록, 조건 태그, 메모리/기능 스냅샷, 프롬프트 기록, 그리고 분석 스크립트가 포함되어 있습니다. 이는 명시적인 메모리 레이어가 장기적인 LLM 에이전트의 의사 결정에 미치는 영향을 연구하기 위한 설계 및 검증된 재사용 가능한 방법론을 제공합니다.

Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.