파니니: 구조화된 메모리를 활용한 토큰 공간에서의 지속적인 학습

Panini: Continual Learning in Token Space via Structured Memory

언어 모델은 훈련되지 않은 콘텐츠, 예를 들어 새로운 문서, 변화하는 지식, 사용자별 데이터에 대해 추론하는 데 점점 더 많이 사용되고 있습니다. 일반적인 접근 방식은 검색 증강 생성(RAG)으로, 이를 통해 전체 문서를 외부적으로 저장하고(청크 형태로), 추론 시 LLM이 추론할 수 있도록 관련 하위 집합만 검색합니다. 그러나 이는 테스트 시간의 컴퓨팅 자원 활용률을 저하시키고(LLM이 동일한 문서를 반복적으로 처리), 청크 검색은 관련 없는 맥락을 주입하여 부적절한 생성을 증가시킬 수 있습니다. 우리는 인간과 유사한 비매개변수 지속 학습 프레임워크를 제안합니다. 이 프레임워크에서 기본 모델은 고정되어 있으며, 학습은 각 새로운 경험을 외부 의미 메모리 상태에 통합함으로써 이루어집니다. 이 상태는 지속적으로 축적되고 통합됩니다. 우리는 이 아이디어를 Generative Semantic Workspace(GSW)라는 개념을 통해 구현한 '파니니'를 제시합니다. GSW는 엔터티 및 이벤트 인식 네트워크이며, 질문-응답(QA) 쌍으로 구성되어 있습니다. 이를 통해 LLM은 경험한 상황을 재구성하고 네트워크 상의 추론 기반 추론 체인을 통해 잠재적인 지식을 탐색할 수 있습니다. 파니니는 쿼리가 주어지면, 지속적으로 업데이트되는 GSW(문서 자체 또는 청크가 아님)를 탐색하고, 가장 가능성이 높은 추론 체인을 검색합니다. 6개의 QA 벤치마크에서 파니니는 다른 경쟁 모델보다 평균 5%에서 7% 높은 성능을 달성했으며, 답변-맥락 토큰 수를 2~30배 줄이고, 완전히 공개 소스 파이프라인을 지원하며, 선별된 답변 불가능한 질문에 대한 부적절한 답변을 줄입니다. 이러한 결과는 쓰기 시의 경험 구조화(GSW 프레임워크를 통해 달성)가 읽기 시의 효율성과 신뢰성을 향상시킨다는 것을 보여줍니다. 코드: https://github.com/roychowdhuryresearch/gsw-memory

Language models are increasingly used to reason over content they were not trained on, such as new documents, evolving knowledge, and user-specific data. A common approach is retrieval-augmented generation (RAG), which stores verbatim documents externally (as chunks) and retrieves only a relevant subset at inference time for an LLM to reason over. However, this results in inefficient usage of test-time compute (LLM repeatedly reasons over the same documents); moreover, chunk retrieval can inject irrelevant context that increases unsupported generation. We propose a human-like non-parametric continual learning framework, where the base model remains fixed, and learning occurs by integrating each new experience into an external semantic memory state that accumulates and consolidates itself continually. We present Panini, which realizes this by representing documents as Generative Semantic Workspaces (GSW) -- an entity- and event-aware network of question-answer (QA) pairs, sufficient for an LLM to reconstruct the experienced situations and mine latent knowledge via reasoning-grounded inference chains on the network. Given a query, Panini only traverses the continually-updated GSW (not the verbatim documents or chunks), and retrieves the most likely inference chains. Across six QA benchmarks, Panini achieves the highest average performance, 5%-7% higher than other competitive baselines, while using 2-30x fewer answer-context tokens, supports fully open-source pipelines, and reduces unsupported answers on curated unanswerable queries. The results show that efficient and accurate structuring of experiences at write time -- as achieved by the GSW framework -- yields both efficiency and reliability gains at read time. Code is available at https://github.com/roychowdhuryresearch/gsw-memory.