분류 오류: 부적절한 프롬프트가 모델의 성능 저하 및 오류 발생을 초래함

Pigeonholing: Bad prompts hurt models to collapse and make mistakes

대규모 언어 모델(LLM)에서 문맥 학습은 일반적으로 효과적인 것으로 나타나지만, 부적절한 문맥은 성능 저하와 모드 붕괴 현상을 유발하며, 우리는 이를 '분류 오류'라고 명명합니다. 의도적인 악성 공격 없이도 **의도치 않게** 부적절한 문맥이 발생할 수 있습니다. 예를 들어, 사용자가 모델에게 부정확한 수학 정리를 뒷받침하도록 요청하거나, 모델의 버그가 있는 코드를 수정하지 않을 때 이러한 현상이 나타납니다. 본 연구에서는 '분류 오류'를 두 가지 시나리오에서 조사합니다: (1) 사용자가 해결책을 제시하는 경우, 그리고 (2) 대화 문맥에 어시스턴트의 이전(잘못된) 응답이 포함되는 경우. 10개의 모델과 10가지 검증 가능하고 개방형 작업에 대한 실험 결과, '분류 오류'는 다음과 같은 다양한 방식으로 나타납니다: (1) 문맥에서 제공된 잘못된 답변을 반복하여 성능이 38-40% 감소합니다. (2) 코딩 및 텍스트 생성 시 대안을 탐색하지 않고 제한된 답변 집합에 수렴하게 됩니다. (3) 논란이 되는 주제에 대해 사용자의 의견이나 어시스턴트의 이전 주장에 맞춰 입장을 바꾸게 됩니다. '분류 오류'는 대화 횟수가 증가함에 따라 거의 단조롭게 악화되며 (잘못된 답변이 1회에서 5회로 반복될 때마다 성능이 추가적으로 14+% 감소), 제공된 예시가 올바른 경우에도 '분류 오류'로 인한 모드 붕괴가 발생할 수 있습니다. 완화를 위한 단계로서, 우리는 합성 오류를 사용한 RLVR 방법을 제안하며, 이는 일반적인 RLVR 기준에 비해 부적절한 문맥 하에서 모델의 성능을 43-60% 향상시킵니다.

While in-context learning is generally shown to be effective in Large Language Models (LLMs), bad contexts can cause performance degradation and mode collapse, a phenomenon we call "pigeonholing." **Unintentionally bad** contexts can happen without malicious jailbreaking intents: For example, a user asks the model to justify an incorrect math theorem or fails to correct the model's buggy code. Specifically, we investigate ``pigeonholing" in two scenarios: (1) when the user suggests a solution, and (2) when the conversation context includes the assistant's previous (incorrect) responses. Our experiments across 10 verifiable and open-ended tasks with 10 different models show that pigeonholing manifests in several ways: (1) repeating the incorrect answers from context (leading to 38-40% performance drop), (2) converging on a narrow set of answers in coding and text generation without exploring alternatives, and (3) flipping stance on controversial topics to align with the user or the assistant's previous claims. We find that pigeonholing worsens almost monotonically with the number of conversation turns (performance drops by additional 14+% as repeated mistakes increase from 1 to 5), and pigeonholing-induced mode collapse can happen even when the provided example is correct. As a step toward mitigation, we propose RLVR with synthetic errors which improves models by 43-60% under bad contexts compared to vanilla RLVR baselines.