SIA: 하니스 및 가중치 업데이트를 통한 자기 개선 인공지능

SIA: Self Improving AI with Harness & Weight Updates

인간은 인공지능을 구축하고 개선하는 데 있어 병목 현상의 원인이 됩니다. 모델과 이를 감싸는 에이전트 모두 사람이 작성, 튜닝 및 수정합니다. 스스로 어떻게 개선할 수 있는지 파악하는 인공지능이라는 장기적인 목표는 여전히 해결되지 않은 과제입니다. 이 병목 현상을 해결하기 위한 두 가지 주요 연구 분야가 존재합니다. 하니스 업데이트 방식은 메타 에이전트가 특정 작업에 대한 에이전트의 기반 구조(도구, 프롬프트, 재시도 로직 및 검색 절차)를 수정하는 반면, 모델 가중치는 고정됩니다. 테스트 시간 훈련 방식은 사람이 작성한 강화 학습 파이프라인을 사용하여 작업 피드백에 따라 모델 자체의 가중치를 업데이트하지만, 하니스는 고정된 상태로 유지합니다. 이 두 가지 접근 방식은 독립적으로 운영됩니다. 본 논문에서는 언어 모델 에이전트(피드백 에이전트)가 특정 작업 에이전트의 하니스와 가중치를 모두 업데이트하는 자기 개선 루프인 SIA를 제안합니다. 중국 법률 상 위반 분류, 저수준 GPU 커널 최적화 및 단일 세포 RNA 노이즈 제거라는 세 가지 다양한 분야에서 SIA를 평가했습니다. 두 가지 요소를 결합한 방식은 하니스 반복만 사용하는 경우보다 모든 벤치마크에서 성능이 우수합니다. LawBench에서는 56.6%, GPU 커널 실행 시간에서는 91.9%, 노이즈 제거에서는 초기 기준선 대비 502%의 성능 향상을 보였습니다. 하니스 업데이트는 모델 에이전트를 지능적으로 만들어 검색 및 행동 방식을 결정하고, 가중치 업데이트는 프롬프트나 기반 구조로는 불가능한 특정 분야에 대한 직관력을 구축합니다.

Humans are the bottleneck in building and improving AI. Both the models and the agents that wrap them are written, tuned, and corrected by people. The long-horizon goal of an AI that can figure out how to improve itself remains open. Two largely disjoint research lines attack this bottleneck. The harness-update school has a meta-agent rewrite the scaffold of a task-specific agent (its tools, prompts, retry logic, and search procedure) while the model weights are held fixed. The test-time training school uses hand-written RL pipelines to update the model's own weights on task feedback while the harness is held fixed. These two silos operate in isolation. We propose SIA, a self-improving loop in which a language-model agent (the Feedback-Agent) updates both the harness and the weights of a task-specific agent. We evaluate across three contrasting domains: Chinese legal charge classification, low-level GPU kernel optimisation, and single-cell RNA denoising. Combining both levers outperforms scaffold iteration alone on all three benchmarks. The gains are 56.6% on LawBench, 91.9% runtime reduction on GPU kernels, and 502% on denoising over the initial baseline. Harness updates make the model agentic, shaping how it searches and acts, while weight updates build the domain intuition that no prompt or scaffold can instil.