CrispEdit: 확장 가능한 비파괴 LLM 편집을 위한 낮은 곡률 투영

CrispEdit: Low-Curvature Projections for Scalable Non-Destructive LLM Editing

대규모 언어 모델(LLM) 편집의 핵심 과제는 기능 보존입니다. 목표 행동을 성공적으로 변경하는 방법은 편집 프록시를 교묘하게 우회하여 일반적인 기능을 손상시키고, 프록시/보상 해킹과 유사한 열악한 동작을 유발할 수 있습니다. 본 논문에서는 기능 보존을 명시적인 제약 조건으로 취급하는 확장 가능하고 체계적인 2차 편집 알고리즘인 CrispEdit을 제시합니다. CrispEdit은 편집을 제약 조건 최적화 문제로 공식화하고, 편집 업데이트를 기능 손실 경관의 낮은 곡률 부분 공간으로 투영하여 제약 조건을 적용합니다. CrispEdit의 핵심은 브레그만 발산(Bregman divergence)을 사용하여 기능 제약 조건을 표현하는 것입니다. 이 발산의 이차 형식은 가우스-뉴턴 헤세 행렬을 정확하게 제공하며, 기본 모델이 수렴될 때까지 훈련되지 않은 경우에도 적용 가능합니다. 우리는 크로네커 인자화 근사 곡률(K-FAC)과 크로네커 구조를 활용하여 대규모 투영 행렬을 생성하지 않는 새로운 행렬-프리 프로젝터를 사용하여 CrispEdit의 2차 절차를 LLM 규모에서 효율적으로 구현했습니다. 표준 모델 편집 벤치마크에서 CrispEdit은 높은 편집 성공률을 달성하면서 평균적으로 데이터 세트 전체에서 기능 저하를 1% 미만으로 유지하여 기존 편집기보다 훨씬 우수한 성능을 보였습니다.

A central challenge in large language model (LLM) editing is capability preservation: methods that successfully change targeted behavior can quietly game the editing proxy and corrupt general capabilities, producing degenerate behaviors reminiscent of proxy/reward hacking. We present CrispEdit, a scalable and principled second-order editing algorithm that treats capability preservation as an explicit constraint, unifying and generalizing several existing editing approaches. CrispEdit formulates editing as constrained optimization and enforces the constraint by projecting edit updates onto the low-curvature subspace of the capability-loss landscape. At the crux of CrispEdit is expressing capability constraint via Bregman divergence, whose quadratic form yields the Gauss-Newton Hessian exactly and even when the base model is not trained to convergence. We make this second-order procedure efficient at the LLM scale using Kronecker-factored approximate curvature (K-FAC) and a novel matrix-free projector that exploits Kronecker structure to avoid constructing massive projection matrices. Across standard model-editing benchmarks, CrispEdit achieves high edit success while keeping capability degradation below 1% on average across datasets, significantly improving over prior editors.