대규모 언어 모델에서 문맥 특성 민감성의 발현

Emergence of Context Characteristics Sensitivity in Large Language Models

지시 미세 조정(IFT) 과정에서, 대규모 언어 모델(LLM)은 주어진 문맥을 활용하여 질문에 답변하는 방법을 학습합니다. 이전 연구에서는 문맥의 특징이 LLM의 문맥 사용 방식과 어떻게 관련되는지를 살펴보았지만, 이러한 분석은 추론 시점에 국한되어 있었으며, 이러한 관계가 실제로 어떻게 형성되는지는 밝혀지지 않았습니다. 본 연구에서는 지도 미세 조정(SFT), 직접 선호도 최적화(DPO) 및 검증 가능한 보상을 이용한 강화 학습(RLVR)을 포함하는 연속적인 IFT 단계에 걸쳐 모델의 문맥 특성 민감성이 어떻게 변화하는지를 측정합니다. 4개의 모델과 3개의 데이터셋을 대상으로 한 실험 결과, SFT는 모델이 이해하기 쉬운 문맥, 즉 높은 길이, 문맥-질문 유사성 및 유창성을 갖는 문맥을 사용할 가능성을 높이는 것으로 나타났습니다. SFT 이후의 단계에서는 이러한 선호도가 학습 데이터셋에 따라 강화되거나 수정될 수 있습니다. 본 연구 결과는 각 IFT 단계에서 문맥 사용 방식이 적극적으로 재구성되며, 지시 미세 조정된 모델의 안정적인 문맥 활용을 보장하기 위해서는 균형 잡힌 IFT 데이터셋 설계가 중요하다는 것을 보여줍니다.

During instruction fine-tuning (IFT), large language models (LLMs) learn to follow instructions by using the provided context to answer a query. While prior work has studied how context characteristics correlate with context usage by the LLM, this analysis has been limited to inference time, leaving open how these relationships are acquired in the first place. Here, we measure how models' sensitivity to such characteristics shifts across successive IFT stages: supervised fine-tuning (SFT), direct preference optimization (DPO), and reinforcement learning with verifiable rewards (RLVR). Experiments across four models and three datasets show that SFT makes models more likely to use contexts that are easy to understand, such as containing high length, context-query similarity, and fluency. Post-SFT dynamics may either reinforce or resolve these preferences depending on the training dataset. Our findings reveal that context usage is actively reshaped at each IFT stage, and designing a balanced IFT dataset is important in ensuring robust context utilization of instruction-tuned models.