비전-언어 모델에서 발생하는 컨텍스트 병목 현상과 그 완화 방안

In-Context Collapse in Vision-Language Models and How to Mitigate it?

다수의 예시를 활용한 컨텍스트 학습(ICL)은 비전-언어 모델(VLM)이 이미지와 레이블의 예시로부터 가중치 업데이트 없이 적응하도록 하며, 이는 더 많은 예시가 제공될수록 성능이 향상될 것이라는 일반적인 믿음과 일치합니다. 본 연구에서는 이러한 가정과는 달리, 예시가 증가함에 따라 일부 VLM에서 extit{컨텍스트 병목 현상}이 발생하며, 이는 합성 분류, 자연 이미지 분류 및 질의응답 벤치마크 전반에 걸쳐 급격하고 심각한 정확도 저하를 초래합니다. 심지어 일부 모델에서는 성능이 우연 수준 이하로 떨어지기도 하지만, 출력 결과는 여전히 자연스럽게 보입니다. 공개된 VLM 패널(0.5B~11B 파라미터)과 Claude Sonnet 4.5 모델을 대상으로 실험한 결과, 이러한 병목 현상은 모델에 따라 다르게 나타나는 것으로 확인되었습니다. 두 가지 중요한 특징이 분리될 수 있다는 점도 밝혀졌습니다: 이는 누적된 예시에 대한 견고성(robustness)과 컨텍스트 내에서 새로운 규칙을 학습하는 능력입니다. 이 두 가지 특징의 조합은 세 가지 재현 가능한 패턴을 나타냅니다. 파라미터 일치성을 갖는 lesion-and-rescue 실험을 통해 병목 현상이 비전-언어 통합 경로에 국한됨을 인과적으로 밝혀냈습니다. 연결 부분 및 초기/중간 계층에 어댑터를 적용하면 실제 학습이 회복됩니다(16개의 예시에서 정확도가 0.39에서 0.91로 향상), 반면 동일한 용량의 어댑터를 후반 출력 계층에 적용하면 효과가 없습니다. 본 연구에서는 extsc{CircA}라는 방법을 제안합니다. 이는 핵심적으로 일회성 통합 백신(integration vaccine)으로, 하나의 합성 작업에 한 번만 학습하면 이를 통해 새로운 작업 패밀리에 대한 병목 현상 저항성을 부여할 수 있습니다 (CIFAR/Fashion 데이터셋에서 우연 수준 0을 0.71 또는 0.60으로 향상시킵니다). 컨텍스트 통합에 가장 적합한 계층은 가중치 기반 통합에 가장 적합한 계층과 다릅니다. 후반 출력 계층은 더 높은 정확도와 낮은 망각(forgetting)을 더 적은 파라미터로 달성합니다. 이러한 병목 현상은 비전-언어 인터페이스에서의 통합 실패이며, 경량화된 전이 가능한 개입(lightweight, transferable intervention)을 통해 수정할 수 있습니다.

Many-shot in-context learning (ICL) lets vision-language models (VLMs) adapt from image--label demonstrations without weight updates, and is widely assumed to improve as more demonstrations are supplied. We show the opposite: as demonstrations accumulate, a subset of VLMs undergo an \emph{in-context collapse}, a sharp, sometimes catastrophic accuracy drop spanning synthetic classification, natural-image classification, and VQA benchmarks, in some models falling below chance while outputs remain well-formed. Across an open VLM panel ($0.5$B--$11$B) and a frontier model (Claude Sonnet 4.5), the collapse is graded. Two capabilities turn out to be dissociable: robustness to accumulating demonstrations and the ability to learn a novel rule in context, their combinations yield three reproducible regimes. A parameter-matched lesion-and-rescue causally localizes the collapse to the vision-language integration pathway: an adapter on the connector and early/mid layers restores genuine learning (remap accuracy $0.39!\rightarrow!0.91$ at 16 shots), while an equal-capacity adapter on the late readout does not. We propose \textsc{CircA}, whose core is a one-time integration vaccine: trained once on one synthetic task, it transfers collapse-resistance to unseen task families (chance$\rightarrow$$0.71$/$0.60$ on CIFAR/Fashion). The layers best for in-context integration are not the layers best for weight-based consolidation, the late readout achieves higher accuracy and less forgetting at fewer parameters. The collapse is an integration failure at the vision--language interface, correctable by a lightweight, transferable intervention.