ManimAgent: 시각 교육을 위한 자기 진화형 다중 모드 에이전트

ManimAgent: Self-Evolving Multimodal Agents for Visual Education

대규모 언어 모델 기반 에이전트는 다단계 반성을 통해 단일 작업 내에서 오류를 복구할 수 있지만, 각 작업은 여전히 독립적인 에피소드로 유지되며, 한 작업에 대한 여러 단계의 반성 과정에서 얻은 지식은 다음 작업 시작 전에 버려집니다. 본 연구에서는 코드 생성 작업을 통해 이 격차를 분석합니다. 에이전트는 과학 논문 섹션을 기반으로 오픈 소스 Manim 라이브러리를 사용하여 수학적 애니메이션을 렌더링하는 Python 코드를 작성합니다. 우리는 ManimAgent라는 자기 진화형 다중 모드 에이전트를 소개합니다. 이 에이전트는 자체 작업 스트림에서 완전히 성장된 양방향 에피소드 메모리 뱅크를 통해 작업 간에 반성 경험을 전달하며, 가중치 업데이트나 인간의 초기 설정 없이 작동합니다. 애니메이션이 완료될 때마다 시각-언어 모델은 렌더링된 주요 프레임을 평가합니다. 결과 신호는 성공 사례를 소프트 참조 예시로 저장하는 양성 채널 M+와 검증된 실패 패턴을 하드 Known Pitfalls로 저장하는 음성 채널 M-에 저장됩니다. 메모리 크기가 증가함에 따라, 비교 대상인 메모리가 없는 모델, 동일한 예산의 검색 증강 생성 모델, 그리고 섞은 메모리를 사용하는 기본 모델과의 비교 평가에서, 인간 평가자의 Pass@1 점수는 상승하고 반성 단계 수는 감소합니다. 우리는 코드, 고정된 메모리 스냅샷 및 작업 스트림을 공개할 예정입니다.

Multi-round reflection lets agents built on large language models recover from failures within a single task, but each task remains an isolated episode: lessons learned across many reflection rounds on one task are discarded before the next begins. We study this gap on a code-generation task: from a scientific paper section, the agent writes Python in the open-source Manim library to render a mathematical animation. We present ManimAgent, a self-evolving multimodal agent that carries reflection experience across tasks through a dual-channel Episodic Memory Bank grown entirely from its own task stream, with no weight updates and no human seeds. After each animation converges, a vision-language model scores the rendered keyframes; the resulting signals populate a positive channel M+ that stores success rationales as soft Reference Examples, and a negative channel M- that stores validated failure patterns as hard Known Pitfalls. On a fixed-probe evaluation against no-memory, matched-budget retrieval-augmented generation, and shuffled-memory baselines, blind human Pass@1 rises and reflection rounds fall as memory size grows. We will release the code, frozen memory snapshots, and the task stream.