자체 진화하는 코드 기반 이미지 추론

Self-Evolving Code-with-Image Reasoning

다중 모드 모델은 시각적 작업을 해결할 때 점차 도구를 활용하는 경향을 보이며 (예: 자르기, 확대/축소, 회전, 밝기 조절), 이를 '이미지 기반 사고'라고 부릅니다. 핵심적인 과제는 인지 능력에 있습니다. 도구는 주로 시각적 증거를 드러내는 역할을 하며, 추론은 여전히 언어 영역에서 이루어집니다. 대부분의 대상은 인간이 원칙적으로 검토를 통해 판단할 수 있는 것들입니다. 그러나 일부 시각적 질문은 인지 능력이 아닌 알고리즘 실행에 의해 제한됩니다. 이러한 질문에 대해 모델은 종종 올바른 알고리즘을 즉시 제시하지만, 여전히 오답을 내는 경우가 있습니다. 이는 언어가 알고리즘을 설명할 수는 있지만 실제로 실행할 수는 없기 때문입니다. '코드 기반 이미지' 접근 방식은 이 한계를 극복합니다. 파이썬 인터프리터만 주어지면 모델은 작업을 해결하기 위해 실제 시각적 알고리즘을 코드로 구현해야 하며, 프로그램 자체가 추론의 역할을 수행합니다. 따라서 병목 현상은 코드 실행에서 어떤 알고리즘을 구현할지 결정하는 것으로 이동합니다. 우리는 모델 스스로 학습하도록 합니다. 훈련 없이 작동하는 피드백 루프는 자체 실패한 프로그램을 분석하고, 구축된 정답과 비교하여 수정한 부분을 보관하며, 이를 재사용 가능한 기술로 유지합니다. 저희가 만든 '코드 기반 이미지 벤치마크(CwI-Bench)'에서는 숨겨진 시각적 계산에 의해 유도된 30개의 작업 그룹을 사용하며, 학습 및 평가 데이터는 분리되어 있습니다. GPT-5.6-luna 모델은 도구 없이 추론 체인 방식을 사용할 때 30% 미만의 정확도를 보이지만, 기본적인 인터프리터만 주어지면 43%, 그리고 자체 실행 가능한 피드백을 통해 진화된 기술을 사용하면 67%의 정확도를 달성합니다. 공개된 27B 모델도 동일한 단계를 거치며 성능이 향상됩니다 (9% → 33% → 56%). 이 기술들은 일반 텍스트 형태로 제공되며, 규모와 작업 그룹에 관계없이 다른 곳으로 이전될 수 있습니다. 코드가 추론을 수행할 때, 코드 디버깅은 추론 디버깅과 동일해집니다.

Multimodal models increasingly reach for tools when solving visual tasks (crop, zoom, rotate, brighten), a paradigm known as thinking-with-images. The central challenge is one of perception: tools mostly serve to expose visual evidence, reasoning over that evidence stays in language, and most targets are ones a human could in principle determine by inspection. Some visual questions, however, are not bottlenecked by perception: recovering their answers requires executing a multi-step visual algorithm over the pixels. On such questions a model often names the correct algorithm at once yet still answers wrong, because language can describe an algorithm without being able to run one. Code-with-Image crosses that line: given nothing but a Python interpreter, the model must implement a genuine visual algorithm in code to solve the task; the program itself becomes the reasoning. The bottleneck then shifts from executing code to deciding which algorithm to implement. So we let the model teach itself: a training-free reflection loop studies its own failed programs, tests repairs against constructive ground truth, and keeps what survives as portable skills. On our Code-with-Image Bench (CwI-Bench), thirty task families induced by hidden visual computations with disjoint learning and evaluation splits, even GPT-5.6-luna stays below 30% with tool-free chain of thought; given a bare interpreter it reaches 43%, and with skills evolved through its own executable reflection, 67%. The open 27B model climbs the same ladder (9% $\rightarrow$ 33% $\rightarrow$ 56%), and the skills are plain text, transferable across scales and families. When code carries the reasoning, debugging code becomes debugging reasoning.