SE-Bench: 지식 내재화를 통한 자기 진화 벤치마킹

SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization

진정한 자기 진화는 에이전트가 미래의 문제를 해결하기 위해 새로운 경험을 내면화하는 평생 학습자로서 기능해야 함을 요구합니다. 그러나 이러한 기본적인 능력을 엄격하게 측정하는 것은 두 가지 장애물에 의해 방해받습니다. 첫째, 사전 학습 데이터에 "새로운" 지식이 포함될 수 있는 사전 지식의 얽힘 현상입니다. 둘째, 추론 복잡성의 얽힘 현상으로, 실패가 문제의 어려움에서 비롯될 수 있으며, 학습된 지식을 회상할 수 없는 능력 부족에서 비롯되지 않을 수 있습니다. 우리는 SE-Bench를 소개합니다. SE-Bench는 NumPy 라이브러리와 API 문서를 난수 식별자를 사용하여 의사 새로운 패키지로 위장하는 진단 환경입니다. 에이전트는 이 패키지를 내면화하도록 훈련되고 문서에 대한 접근 권한 없이 간단한 코딩 작업을 통해 평가됩니다. 이를 통해 새로운 API 문서가 있으면 작업이 간단하지만 기본 모델은 그렇지 않기 때문에 명확한 환경을 제공합니다. 우리의 연구는 다음과 같은 세 가지 중요한 통찰력을 밝혀냈습니다. (1) "오픈 북 역설(Open-Book Paradox)": 참조 문서로 훈련하면 정보 유지에 방해가 되므로, 지식을 가중치에 압축하도록 강제하는 "클로즈드 북 훈련(Closed-Book Training)"이 필요합니다. (2) "강화 학습 격차(RL Gap)": 표준 강화 학습은 PPO 클리핑 및 음수 기울기 때문에 새로운 지식을 완전히 내면화하는 데 실패합니다. (3) 자기 학습(Self-Play)이 내면화를 위해 유효합니다. 모델은 SFT와 결합될 때 자기 생성된, 노이즈가 많은 작업으로부터 학습할 수 있지만, 강화 학습으로는 불가능합니다. 전반적으로, SE-Bench는 지식 내재화를 통한 자기 진화를 위한 엄격한 진단 플랫폼을 구축합니다. 우리의 코드와 데이터세트는 https://github.com/thunlp/SE-Bench 에서 확인할 수 있습니다.

True self-evolution requires agents to act as lifelong learners that internalize novel experiences to solve future problems. However, rigorously measuring this foundational capability is hindered by two obstacles: the entanglement of prior knowledge, where ``new'' knowledge may appear in pre-training data, and the entanglement of reasoning complexity, where failures may stem from problem difficulty rather than an inability to recall learned knowledge. We introduce SE-Bench, a diagnostic environment that obfuscates the NumPy library and its API doc into a pseudo-novel package with randomized identifiers. Agents are trained to internalize this package and evaluated on simple coding tasks without access to documentation, yielding a clean setting where tasks are trivial with the new API doc but impossible for base models without it. Our investigation reveals three insights: (1) the Open-Book Paradox, where training with reference documentation inhibits retention, requiring "Closed-Book Training" to force knowledge compression into weights; (2) the RL Gap, where standard RL fails to internalize new knowledge completely due to PPO clipping and negative gradients; and (3) the viability of Self-Play for internalization, proving models can learn from self-generated, noisy tasks when coupled with SFT, but not RL. Overall, SE-Bench establishes a rigorous diagnostic platform for self-evolution with knowledge internalization. Our code and dataset can be found at https://github.com/thunlp/SE-Bench.