다중 모드 대규모 언어 모델을 위한 지역화된 및 분리된 지식 편집

Towards Localized and Disentangled Knowledge Editing for Multimodal Large Language Models

다중 모드 지식 편집(MKE)의 기존 방법들은 다중 모드 대규모 언어 모델(MLLM)에서 오래되거나 부정확한 지식을 수정하는 능력을 향상시켰습니다. 그러나 이러한 방법들은 중요한 한계를 가지고 있습니다. 즉, 특정 사실 쌍을 효과적으로 수정하는 반면, 논리적으로 관련된 쿼리에 대한 편집 내용을 일반화하지 못하며, 종종 시각적 또는 의미적으로 연결되어 있지만 관련 없는 정보에 대한 의도치 않은 변경을 야기합니다. 우리는 이러한 문제를 일으키는 두 가지 근본적인 실패 요인을 파악하고 공식화했습니다. 첫째는 '인과적 불일치(Causal Misalignment)'로, 이는 편집 내용을 특정 샘플에 국한시킵니다. 둘째는 '특징 얽힘(Feature Entanglement)'으로, 이는 관련 없는 정보와 결합되어 있지만 의도치 않은 변경을 초래합니다. 이러한 문제를 해결하기 위해 우리는 '지역화된 및 분리된 지식 편집(LDKE)'이라는 새로운 프레임워크를 제안합니다. LDKE는 사실에 특정한 모델 레이어를 지역화하고, 타겟과 관련된 입력 정보를 관련 없는 정보로부터 분리하여 정밀하고 일반화된 편집을 달성합니다. 우리의 접근 방식은 핵심 레이어를 효율적으로 식별하고 업데이트하는 '빠른 지역화 모듈(Fast Localization module)'과 불필요한 지식을 보존하기 위해 입력을 적절하게 라우팅하는 '분리 분류기(Disentanglement Classifier)'를 도입합니다. 다양한 벤치마크와 MLLM에 대한 광범위한 실험 결과, LDKE는 관련 맥락으로 편집 내용을 전파하는 성능이 뛰어나고 높은 지역성을 유지한다는 것을 보여줍니다.

Existing methods in Multimodal Knowledge Editing (MKE) have advanced the ability to correct outdated or inaccurate knowledge in Multimodal Large Language Models (MLLMs). However, they exhibit a critical limitation: while effectively modifying target factual pairs, they fail to generalize edits to logically related queries and often cause unintended alterations to unrelated but visually or semantically linked information. We identify and formalize two underlying failure modes causing this issue: Causal Misalignment, which confines edits to the specific sample, and Feature Entanglement, which causes unintended alterations to coupled but irrelevant information. To address these issues, we propose Localized and Disentangled Knowledge Editing (LDKE), a new framework that achieves precise and generalized editing by localizing fact-specific model layers and disentangling target-relevant inputs from irrelevant ones. Our approach introduces a Fast Localization module to identify and update critical layers efficiently, along with a Disentanglement Classifier that routes inputs appropriately to preserve unrelated knowledge. Extensive experiments across various benchmarks and MLLMs demonstrate that LDKE achieves superior performance in propagating edits to related contexts while maintaining high locality.