연습은 안전하지 않다: 자기 개선 LLM 에이전트에서의 기술 오진화

Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents

자기 개선 LLM 에이전트는 성공적인 실행 경로를 지속적인, 여러 작업에 걸친 상태로 변환합니다. 이 과정에서 '안전하지 않은' 성공 또한 특정 입력이 사라진 후 재사용 가능한 정책으로 이어질 수 있습니다. 기술 오진화는 이러한 실패를 측정 가능하게 만듭니다. 즉, 운영 경로를 실행 가능하고, 전송 가능하며, 검사 가능한 절차로 추출하여 분석할 수 있도록 합니다. 진화 과정은 절차의 안전성보다는 작업 결과 최적화를 목표하기 때문에, 부적절한 경험은 기술 오진화를 초래할 수 있습니다. 기존 벤치마크는 현재 동작이나 정적인 산출물을 측정하지만, 작성, 검색 및 후속 실행 단계에 걸친 위험을 파악하지 못합니다. 이러한 라이프사이클 전체를 분석하기 위해, 저희는 에이전트 프레임워크 간의 기술 상태를 버전 관리하는 라이프사이클 인식 환경인 SkillMisevo-Gym과 악의적인 노출로부터 전송 작업까지 이어지는 고정된 설계를 갖춘 벤치마크인 SkillMisevo-Bench를 소개합니다. 이 벤치마크는 개념적으로 일관성 있는 안전한 작업과 함께 9가지 라이프사이클 지표를 포함합니다. 또한, 부적절한 내용을 수정하고 후속 재사용을 관리하는 SafeEvolve라는 래퍼를 추가로 개발했습니다. 25개의 에이전트-메서드 조합 (각 조합은 25 에피소드로 구성된 525개의 작업을 수행)에서 모든 21개의 진화된 조합이 부적절한 산출물을 생성했으며, 이 중 15개만이 새로운 세션에서 문제를 일으켰습니다. 악의적인 작업 노출 실험에서는 3가지 악성 작업으로 인해 전송 ASR (Automatic Speech Recognition) 비율이 16.0%에서 35.3%로 증가했습니다. 대표적인 기술 진화 방법들을 비교했을 때, SafeEvolve는 부적절한 검색 및 새로운 세션에서의 문제를 각각 26.7%p와 17.3%p 감소시켰으며, 동시에 안전한 유용성의 평균 변화는 0.4%p에 불과했습니다. 결론적으로, 지속적인 적응의 안전성을 확보하기 위해서는 어떤 업데이트가 기록되고, 어떤 실행자가 재사용할 수 있는지 엄격하게 관리해야 합니다. 코드 및 관련 자료는 https://github.com/henrymao2004/misevolve 에서 확인할 수 있습니다.

Self-improving LLM agents convert successful trajectories into persistent cross-task state. An unsafe success can thereby become reusable policy after its triggering input disappears. Skill evolution makes this failure measurable by distilling operational trajectories into executable, transferable, and inspectable procedures. Because evolution optimizes task outcomes rather than procedure safety, compromised experience can cause skill misevolution. Existing benchmarks measure current behavior or static artifacts but cannot attribute risk across authoring, retrieval, and later execution. To expose this lifecycle, we introduce SkillMisevo-Gym, a lifecycle-aware harness that versions skill state across agent frameworks, and SkillMisevo-Bench, a frozen design from malicious exposure to carryover tasks, with concept-aligned benign tasks and nine lifecycle metrics. We also introduce SafeEvolve, a wrapper that repairs unsafe content and governs subsequent reuse. Across 25 agent-method configurations, each covering 525 tasks in 25 episodes, all 21 evolved configurations author unsafe artifacts, while only fifteen lead to fresh-session harm. In the exposure sweep, three malicious tasks raise carryover ASR from 16.0% to 35.3%. Across representative skill evolution methods, SafeEvolve reduces unsafe retrieval and fresh-session harm by 26.7 and 17.3 percentage points, respectively, while mean benign utility changes by only 0.4 points. Together, persistent-adaptation safety must govern what updates write and what future executors reuse. Code is available at https://github.com/henrymao2004/misevolve.