신경망 기반 절차적 기억: LLM 에이전트에 대한 암묵적인 활성화 제어를 통한 성능 향상

Neural Procedural Memory: Empowering LLM Agents with Implicit Activation Steering

대규모 언어 모델(LLM)은 정적인 문제 해결에 뛰어난 성능을 보이지만, 이를 자율 에이전트로 변환하는 것은 여전히 어려운 과제입니다. 이러한 전환에는 지속적인 환경과의 상호작용이 필요하지만, 현재의 에이전트는 필요한 지속적인 절차적 기억 능력이 부족합니다. 기존 방법은 주로 검색 증강 생성(RAG)을 사용하여 모델 컨텍스트에 명시적인 텍스트 지침을 주입하는 방식을 사용합니다. 그러나 오직 상징적인 지시에만 의존하면 텍스트와 행동 간의 불일치가 발생하여, 올바른 작업 실행에 필요한 내부 표현을 활성화하지 못하는 경우가 많습니다. 이러한 문제를 해결하기 위해 본 논문에서는 신경망 기반 절차적 기억(NPM)이라는 새로운 프레임워크를 소개합니다. NPM은 명시적인 지침 대신 암묵적인 활성화 제어를 통해 에이전트의 기억을 표현하며, 학습 과정이 필요하지 않습니다. NPM은 과거의 대비 경험으로부터 얻은 절차적 기술을 활성화 공간 내의 제어 벡터로 변환하여, 작업과 관련된 신경 메커니즘을 직접 활성화하고 작업 실행을 안내합니다. 네 가지 에이전트 벤치마크를 사용한 평가 결과, NPM은 명시적인 텍스트 지침을 사용하는 기본 모델과 유사한 성능을 보였습니다. 또한, 암묵적인 제어와 명시적인 워크플로우를 결합하면 상호 보완적인 이점을 제공하여 보다 안정적인 작업 실행이 가능함을 확인했습니다. 표현 분석 결과, 이러한 제어 벡터는 일관된 작업 로직을 인코딩하며, 활성화 공간 내에서 체계적인 구조를 형성하는 것으로 나타났습니다. 이러한 결과는 암묵적인 활성화 제어가 에이전트 기억 관리에 대한 유망한 접근 방식임을 시사합니다.

While Large Language Models (LLMs) excel as static solvers, transforming them into autonomous agents remains challenging. This transition requires continuous environmental interaction, yet current agents lack the necessary persistent procedural memory. Existing approaches predominantly employ Retrieval-Augmented Generation (RAG) to inject explicit textual guidelines into model contexts. However, relying solely on symbolic instructions can introduce a text-action disconnect, frequently failing to activate the internal representations necessary for correct task execution. To address this, the paper introduces Neural Procedural Memory (NPM), a training-free framework that represents agent memory through implicit activation steering rather than explicit instructions. By distilling procedural skills from historical contrastive experiences into steering vectors in the activation space, NPM directly activates the task-relevant neural mechanisms to guide task execution. Evaluations across four agent benchmarks show that NPM performs comparably to baselines using explicit textual instructions. Furthermore, the results show that combining implicit steering with explicit workflows provides complementary advantages, leading to more robust task execution. Representational analyses indicate that these steering vectors encode consistent task logic, forming organized structures within the activation space. These findings suggest that implicit activation steering provides a promising approach for managing agent memory.