다중 반복 추론을 위한 체인형 재귀 언어 모델

Chained Recursive Language Models for Multi-Iteration Reasoning

대규모 언어 모델(LLM)에서의 장문 맥락 추론은 일반적으로 단일 추론 경로가 맥락 탐색, 중간 상태 저장, 증거 검증 및 최종 답변 생성이라는 모든 작업을 동시에 수행해야 한다는 제약으로 인해 어려움을 겪습니다. 특히 추출, 계산, 정렬 또는 다단계 추론과 같이 초기 오류가 최종 결과에까지 영향을 미칠 수 있는 작업에서 이러한 어려움은 더욱 두드러집니다. 본 연구에서는 체인형 재귀 언어 모델(Chained RLM)이라는 추론 시점 아키텍처를 제안합니다. 이 아키텍처는 동일한 기본 모델을 일련의 새로운 추론 시작점으로 반복적으로 호출하여 사용합니다. 각 시작점은 원래 문제와 맥락을 입력으로 받지만, 전체 대화 기록을 상속하지 않습니다. 대신, 이전 시작점이 작성한 간결한 텍스트 요약, 텍스트 기반 블랙보드 및 일부 영구적인 작업별 아티팩트를 입력으로 받습니다. 이는 하나의 큰 추론 응답이 아닌 부분적인 작업으로 맥락을 관리하려는 의도를 반영합니다. 각 단계의 계산에서 중간 아티팩트는 동일한 모델에 의해 나중에 수행되는 새로운 추론 과정을 통해 검토, 수정 및 확장될 수 있습니다. 본 연구에서는 이 시스템의 시스템 모델, 핸드오프 메커니즘, 아티팩트 작업 공간 및 평가 프로토콜을 설명합니다. 또한 재귀적 도구 호출을 사용하는 LLM 직접 응답에 비해 신선한 맥락 기반 아티팩트 연장이 정확성 측면에서 유의미한 이점을 제공하는 조건을 분석합니다.

Long context reasoning in large language models (LLMs) is usually constrained by the fact that a single inference trajectory has to simultaneously explore the context, store intermediate state, verify evidence, and produce the final answer. This becomes particularly difficult in tasks that require extraction, counting, ordering, or multi-hop reasoning, where an early mistake can propagate until the final response. In this work, we propose Chained Recursive Language Models (Chained RLM), an inference-time architecture, in which the same underlying model is called repeatedly as a sequence of fresh reasoning roots. Each root receives the original problem and context, but does not inherit the full conversational history. Instead, it receives a compact plain-text summary, a plain-text blackboard, and some durable task-specific artifacts written by predecessor roots. The motivation is to manage the context by chopping into partial tasks rather than one large inference response; in each staged computation, intermediate artifacts can be inspected, corrected, and extended by a later fresh inference by the same model. We describe the system model, handoff mechanism, artifact workspace, and evaluation protocol for this system. We study when fresh-context artifact continuation gives a measurable gain in accuracy over direct LLM answering even with recursive tool-calling.