자기 진화가 부작용을 일으킬 때: LLM 에이전트에서 기술 오염 방지를 위한 사전 검증 메커니즘

When Self-Evolution Backfires: Pre-Commit Gating against Skill Contamination in LLM Agents

자기 진화형 에이전트는 실행 과정을 통해 재사용 가능한 기술을 추출하여 능력을 향상시키지만, 저희는 이러한 과정이 항상 발전하는 것은 아니라는 것을 발견했습니다. 특정 임계값 이상의 기술 풀 크기에서는 새로 추가되는 기술이 오히려 성능을 저하시키는 현상이 나타납니다. 본 연구에서는 이러한 능력 오염의 단계적 변화를 공식화하고, 구조적인 원인으로 귀결됩니다. 즉, 결함 있는 기술이 의사 결정 과정에 도입되면, 이후 추출되는 기술들의 기준 자료가 되어 여러 단계를 거쳐 오염이 확산됩니다. 또한, 이러한 오염은 구조적으로 되돌릴 수 없는 것으로 나타났습니다. 이미 잘못된 추론을 포함하게 된 기술의 파생물을 제거하더라도, 손실된 성능의 일부만 회복할 수 있습니다. 따라서, 기술 도입은 사후 수정이 아닌 사전 검증이 필수적이며, 이를 위해 '검증기-경비원(Verifier-as-Gatekeeper, VaG)' 모델을 제안합니다. VaG는 구조적 유효성, 행동적 안전성, 의미적 일관성을 평가하는 세 가지 이질적인 검증 단계를 거쳐 각 기술을 개별적으로 필터링하고, 최상위 단계에서는 조합적 오염을 제거하여 런타임 환경으로 전달되는 기술의 품질을 높입니다. Terminal-Bench 2 데이터셋에서, 무조건적인 기술 축적은 초기에는 성능 향상을 가져오지만, 특정 시점 이후에는 성능이 저하되며, 문제 해결 기술을 사후적으로 제거해도 손실된 성능의 극히 일부만 회복됩니다. 이는 되돌릴 수 없는 오염 현상의 경험적인 증거입니다. 반면, VaG는 매 단계마다 성능을 향상시켜 전체 풀 크기가 약 5배 작은 상태에서도 72%의 pass@1 정확도를 달성하며, 고정된 기술 풀은 다른 백본 모델과 추가적인 벤치마크에서 재진화 없이도 긍정적인 효과를 나타냅니다. 추가 분석 결과, 세 가지 검증 단계는 상호 보완적이며 대체 불가능하며, 각각 서로 다른 유형의 유해한 기술을 걸러내는 역할을 합니다.

Self-evolving agents accumulate capability by distilling reusable skills from their execution trajectories, but we find this process is not monotonic: past a critical pool size, newly added skills degrade performance instead of improving it. We formalize this capability-contamination phase transition and trace it to a structural cause: once a defective skill enters the decision context, it becomes reference material for distilling later skills, forming cross-round contamination chains. We further show the contamination is structurally irreversible: removing a source skill after the fact cannot erase the flawed reasoning its descendants have already inherited, so post-hoc rollback recovers only a small fraction of the lost performance. This makes skill admission a pre-commit necessity rather than a post-hoc fix, and motivates Verifier-as-Gatekeeper (VaG): a progressive trust hierarchy whose three heterogeneous critics - structural validity, behavioral harmlessness, and semantic consistency - filter each skill individually, coupled with a marginal-gain subset selection that removes combinatorial contamination at the top tier before skills reach the runtime context. On Terminal-Bench 2, unconditional accumulation rises to a peak and then degrades, giving back most of its gains as the pool keeps growing, and post-hoc removal of the culprit skills recovers only a small part of the drop - the empirical signature of irreversibility. In contrast, VaG improves every round, reaching 72% pass@1 with a pool roughly 5x smaller, and its frozen skill pool transfers positively to four other backbones and a second benchmark without re-evolution. Ablations confirm the three critics are complementary and mutually non-substitutable, each intercepting a largely disjoint class of harmful skills.