HippoSpark: LLM 추론을 위한 온디맨드 경험 시스템

HippoSpark: An On-Demand Experience System for LLM Reasoning

최근 LLM 연구의 주요 초점은 과거의 문제 해결 과정을 재사용 가능한 경험으로 추출하여 미래의 문제 해결 능력을 향상시키는 것입니다. 그러나 기존 방법들은 주로 작업 수준에서 작동하며, 유사한 작업들이 보편적인 해결 패턴을 공유한다는 가정 하에 일반적인 요약 또는 규칙을 활용합니다. 이러한 접근 방식은 복잡한 추론 과정에서 종종 실패하는데, 이는 일반적으로 광범위한 휴리스틱보다는 정확하고 상황에 맞는 지침이 필요한 국소적인 병목 현상 때문입니다. 본 논문에서는 HippoSpark이라는 상태 수준의 경험 시스템을 소개합니다. HippoSpark은 현재 추론 상태의 즉각적인 요구 사항에 맞춰 온디맨드로 정보를 검색합니다. 수학, 과학 및 프로그래밍 벤치마크에서 HippoSpark은 표준 프롬프트와 작업 수준의 기존 방법들을 지속적으로 능가하는 성능을 보였습니다. 우리의 연구 결과는 가장 효과적인 경험 시스템이 일반적인 작업 수준의 맥락 제공자가 아니라, 중요한 병목 지점에서 실행 가능한 지침을 제공하는 시스템이라는 것을 보여줍니다. 저희 코드 배포 주소는 https://github.com/DanlingMeng/HippoSpark 입니다.

Distilling historical trajectories into reusable experience to enhance future problem-solving has become a focal point of recent LLM research. However, existing methods predominantly operate at the task level, leveraging general summaries or rules under the assumption that analogous tasks share universal solution patterns. This approach often fails in complex reasoning, which typically falters at local bottlenecks that require precise, state-specific guidance rather than broad heuristics. We introduce HippoSpark, a state-level experience system that performs on-demand retrieval tailored to the immediate needs of the current reasoning state. Across mathematical, scientific, and programming benchmarks, HippoSpark consistently outperforms both standard prompting and task-level experience baselines. Our findings reveal that the most effective experience systems are those that provide actionable guidance at critical bottlenecks rather than serving as generic task-level context. Our code is available at https://github.com/DanlingMeng/HippoSpark.