PRO-LONG: 프로그램 기반 메모리를 활용한 장기 추론

PRO-LONG: Programmatic Memory Enables Long-Horizon Reasoning

장기적인 과제는 지속적인 인식, 추론 및 탐색을 필요로 하며, 이는 대규모 언어 모델(LLM) 에이전트에게 지속적인 어려움입니다. 이러한 격차는 특히 모델을 기본 설정으로 평가할 때, ARC-AGI-3과 같은 연속 학습 벤치마크에서 제한된 성능으로 반영됩니다. 이 격차를 해소하기 위한 다양한 에이전트 구조가 제안되었으며, 각 구조는 장기간에 걸친 관찰 시퀀스를 처리하는 전략을 채택합니다. 즉, 환경으로부터 어떤 정보를 저장하고 모델 컨텍스트에 어떻게 불러올 것인지 결정하는데, 이는 매우 중요한 선택입니다. 기존의 컨텍스트 관리 방법은 상당한 트레이드오프를 가지고 있습니다. 더 많은 정보를 보존할수록 관련 세부 사항을 검색하기가 더욱 어려워집니다. 본 논문에서는 장기적인 탐색 환경에서 LLM 에이전트를 위한 프로그램 기반 메모리를 활용하는 최소한의 컨텍스트 관리 프레임워크인 PRO-LONG을 제안합니다. PRO-LONG은 완전하고 구조화된 상호 작용 로그를 유지하고, 코딩 에이전트의 최근 발전 사항을 활용하여 이 기록을 효율적으로 검색함으로써 이러한 트레이드오프를 해결합니다. 전체 ARC-AGI-3 공개 게임 세트에서 PRO-LONG은 기본 코딩 에이전트에 비해 평균 18.0%p의 성능 향상을 보였으며, 최첨단 특수 구조와 동등하거나 더 나은 성능(최대 76.1% pass@1)을 달성하면서 토큰 사용량을 4.2~5.8배 줄였습니다. Fable 5 모델에서 PRO-LONG은 총 비용이 1,750달러로 97.4%의 best@2 성능을 달성했습니다. 관련 코드 및 로그는 https://github.com/alexisfox7/PRO-LONG 에서 확인할 수 있습니다.

Long-horizon tasks require sustained perception, reasoning, and exploration, and are a persistent challenge for large language model (LLM) agents. This gap is reflected in their limited performance on continual learning benchmarks such as ARC-AGI-3, especially when models are evaluated out of the box. Various agent harnesses have been proposed to close this gap, and each commits to a strategy for handling long sequences of observations, i.e., what information to save from the environment and how to load it into model context, a choice we argue is particularly consequential. Existing methods for context management face a significant tradeoff, as preserving more information makes retrieving relevant details less tractable. We propose PRO-LONG, a minimal context management framework built around programmatic memory for LLM agents in long-horizon, exploratory settings. PRO-LONG addresses the tradeoff by keeping a complete, structured interaction log and capitalizing on recent progress in coding agents to search this history efficiently. On the full ARC-AGI-3 public game set, PRO-LONG improves over a base coding agent by an average of 18.0 percentage points across frontier models, and matches or exceeds state-of-the-art specialized harnesses (up to 76.1% pass@1) while using 4.2-5.8x fewer tokens. With Fable 5, PRO-LONG achieves 97.4% best@2 at a total cost of \$1,750. Relevant code and logs are available at https://github.com/alexisfox7/PRO-LONG.