온라인 재귀적 MLLM 편집을 위한 다중 모드 지식 편집 범위 제어 일반화

Multimodal Knowledge Edit-Scoped Generalization for Online Recursive MLLM Editing

온라인 다중 모드 지식 편집은 제한된 오버헤드로 멀티모달 대규모 언어 모델(MLLM)에 지속적인 시각-텍스트 수정 사항을 주입하는 것을 의미하며, 동시에 관련 없는 동작에는 최소한의 영향을 미쳐야 합니다. 기존 편집기는 주로 편집 신뢰성과 장기적인 안정성을 강조하지만, 각 편집의 의미적 경계를 제어하는 경우는 드뭅니다. 저희 연구팀의 초기 분석 결과에 따르면, 신뢰할 수 있는 편집 뒤에는 '범위 격차'가 존재합니다. 즉, 개별 인스턴스 수준에서의 성공이 반드시 유효한 교차 모드 변환을 보장하지 않으며, 관련 없는 입력으로의 정보 누출을 막지 못합니다. 반면, 편집과 관련된 교차 모드 응답은 더 깊은 의미층에서 집중적으로 나타납니다. 따라서 저희는 '편집 범위 제어 일반화(Edit-Scoped Generalization)'라는 새로운 프레임워크를 제시하며, 온라인 MLLM 편집을 단순히 인스턴스를 수정하는 것에서 벗어나 각 편집의 전파 경계를 제어하는 방식으로 재정의합니다. 이를 위해, 저희는 모듈별 흡수 브랜치와 증거 기반 공유 일반화 브랜치를 결합하여 각 업데이트를 분해하는 'ScopeEdit'이라는 범위 인식 온라인 편집기를 제안합니다. 로컬 브랜치는 안정적인 편집 흡수를 지원하며, 공유 브랜치는 시각 및 텍스트 증거가 충분히 일치할 때만 교차 모드 전파를 가능하게 합니다. 두 브랜치는 직교하는 저차원 공간에서 범위별 쓰기 기하학을 수행하며, Sherman-Morrison 재귀를 통해 브랜치별 사전 조건을 유지하여 각 편집당 오버헤드를 일정하게 유지합니다. 다양한 벤치마크, 장기적인 편집 스트림, MLLM 백본, 실제 VLKEB 시나리오, 복잡한 비전-언어 아키텍처에 대한 광범위한 실험 결과, ScopeEdit은 편집 신뢰성, 안정성 및 온라인 효율성을 유지하면서 범위 내 교차 모드 전송과 범위 외 지역성 간의 균형을 지속적으로 향상시키는 것으로 나타났습니다. 저희 코드 repository는 다음 주소에서 확인할 수 있습니다: https://github.com/lab-klc/ScopeEdit.

Online multimodal knowledge editing requires injecting a continual stream of visual-textual corrections into multimodal large language models (MLLMs) with bounded overhead and minimal disruption to unrelated behaviors. Existing editors mainly emphasize edit reliability and long-horizon stability, but rarely control the semantic boundary of each edit. Our pilot analyses of post-edit behaviors and internal neuronal activities reveal a scope gap behind reliable edits: instance-level success neither guarantees transfer to valid cross-modal variants nor prevents leakage to unrelated inputs, while edit-related cross-modal responses concentrate in deeper semantic layers. Therefore, we formulate Edit-Scoped Generalization, reframing online MLLM editing from merely correcting an instance to controlling the propagation boundary of each edit. To this end, we propose ScopeEdit, a scope-aware online editor that decomposes each update into a modality-local absorption branch and an evidence-gated shared generalization branch. The local branch supports stable edit absorption, whereas the shared branch enables cross-modal propagation only when visual and textual evidence are sufficiently aligned. Both branches perform scope-separated write geometries in orthogonal low-rank spaces and maintain branch-wise preconditioners via Sherman--Morrison recursions, yielding constant per-edit overhead. Extensive experiments across diverse benchmarks, long-horizon edit streams, MLLM backbones, real-world VLKEB scenarios, and complex vision-language architectures show that ScopeEdit consistently improves the trade-off between in-scope cross-modal transfer and out-of-scope locality, while preserving edit reliability, stability and online efficiency. Our code is available at https://github.com/lab-klc/ScopeEdit.