불변 경로 학습을 통한 일반화 가능한 다중 모드 대규모 언어 모델 편집

Generalizable Multimodal Large Language Model Editing via Invariant Trajectory Learning

지식 편집은 대규모 언어 모델(LLM)에서 부정확하거나 오래된 지식을 효율적으로 수정하는 데 중요한 기술로 부상하고 있습니다. 기존의 편집 방법은 파라미터 또는 모듈 수정과 출력 간의 경직된 매핑에 의존하며, 이는 다중 모드 LLM(MLLM)의 일반화 능력을 제한합니다. 본 논문에서는 MLLM 편집을 분포 외(OOD) 일반화 문제로 재정의하며, 목표는 의미적 변화와 사실적 변화를 구별하여 다양한 교차 모드 프롬프트에서 강력한 편집을 달성하는 것입니다. 이 OOD 문제의 핵심 과제는 정확하게 일반화되면서 동시에 간섭적인 상관관계를 억제하는 불변의 인과적 경로를 식별하는 것입니다. 이를 해결하기 위해, 우리는 플러그 앤 플레이 방식으로 불변 학습을 기반으로 하는 프레임워크인 ODEdit을 제안합니다. ODEdit은 삼자 OOD 위험 목표를 최적화하여 편집의 신뢰성, 지역성 및 일반성을 동시에 향상시킵니다. 또한, 우리는 총 변동 페널티를 위험 최소화 목표에 통합하여 환경 변화에 대한 편집 경로의 안정성을 높이는 편집 경로 불변 학습 방법을 소개합니다. 이론적 분석과 광범위한 실험을 통해 ODEdit의 효과를 입증합니다.

Knowledge editing emerges as a crucial technique for efficiently correcting incorrect or outdated knowledge in large language models (LLM). Existing editing methods rely on a rigid mapping from parameter or module modifications to output, which causes the generalization limitation in Multimodal LLM (MLLM). In this paper, we reformulate MLLM editing as an out-of-distribution (OOD) generalization problem, where the goal is to discern semantic shift with factual shift and thus achieve robust editing among diverse cross-modal prompting. The key challenge of this OOD problem lies in identifying invariant causal trajectories that generalize accurately while suppressing spurious correlations. To address it, we propose ODEdit, a plug-and-play invariant learning based framework that optimizes the tripartite OOD risk objective to simultaneously enhance editing reliability, locality, and generality.We further introduce an edit trajectory invariant learning method, which integrates a total variation penalty into the risk minimization objective to stabilize edit trajectories against environmental variations. Theoretical analysis and extensive experiments demonstrate the effectiveness of ODEdit.