FiLoRA: 제어 가능한 특징 의존성을 위한 집중 및 무시 LoRA

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance

다중 모드 기반 모델은 다양한 모드 간의 이질적인 신호를 통합하지만, 이러한 모델의 예측이 특정 내부 특징 그룹에 어떻게 의존하는지, 그리고 이러한 의존성을 의도적으로 제어할 수 있는지에 대한 이해는 여전히 부족합니다. 기존의 단축 경로 및 허위 행동 연구는 주로 사후 분석 또는 특징 제거에 의존하며, 작업 의미를 변경하지 않고 의존성을 조절할 수 있는지에 대한 제한적인 통찰력을 제공합니다. 본 연구에서는 FiLoRA (Focus-and-Ignore LoRA)라는, 지시문에 조건부로 작동하며 매개변수 효율적인 적응 프레임워크를 소개합니다. FiLoRA는 예측 목표를 고정한 상태에서 내부 특징 의존성에 대한 명시적인 제어를 가능하게 합니다. FiLoRA는 적응을 특징 그룹에 맞춰진 LoRA 모듈로 분해하고, 지시문에 조건부 게이팅을 적용하여 자연어 지시문이 작업 재정의가 아닌 계산 수준의 제어 신호로 작용하도록 합니다. 텍스트-이미지 및 오디오-비디오 벤치마크에서 실험 결과, 지시문에 조건부 게이팅은 내부 계산에 일관되고 인과적인 변화를 유발하며, 레이블 공간이나 학습 목표를 변경하지 않고 핵심 및 허위 특징 그룹을 선택적으로 증폭하거나 억제합니다. 추가 분석 결과, FiLoRA는 허위 특징 개입에 대한 향상된 견고성을 제공하며, 상관 관계에 기반한 학습을 넘어 의존성을 규제하는 원칙적인 메커니즘을 보여줍니다.

Multimodal foundation models integrate heterogeneous signals across modalities, yet it remains poorly understood how their predictions depend on specific internal feature groups and whether such reliance can be deliberately controlled. Existing studies of shortcut and spurious behavior largely rely on post hoc analyses or feature removal, offering limited insight into whether reliance can be modulated without altering task semantics. We introduce FiLoRA (Focus-and-Ignore LoRA), an instruction-conditioned, parameter-efficient adaptation framework that enables explicit control over internal feature reliance while keeping the predictive objective fixed. FiLoRA decomposes adaptation into feature group-aligned LoRA modules and applies instruction-conditioned gating, allowing natural language instructions to act as computation-level control signals rather than task redefinitions. Across text--image and audio--visual benchmarks, we show that instruction-conditioned gating induces consistent and causal shifts in internal computation, selectively amplifying or suppressing core and spurious feature groups without modifying the label space or training objective. Further analyses demonstrate that FiLoRA yields improved robustness under spurious feature interventions, revealing a principled mechanism to regulate reliance beyond correlation-driven learning.