왜 미세 조정(Fine-tuning)이 환각(Hallucination) 현상을 유발하는가, 그리고 어떻게 해결할 수 있는가?

Why Fine-Tuning Encourages Hallucinations and How to Fix It

대규모 언어 모델은 사실과 다른 잘못된 정보를 생성하는 환각 현상을 보이는 경향이 있습니다. 이러한 오류의 주요 원인은 지도 학습 기반 미세 조정(Supervised Fine-tuning, SFT)을 통해 새로운 사실 정보를 학습하는 과정인데, 이는 사전 학습 단계에서 획득한 지식과 관련된 환각 현상을 증가시킬 수 있습니다. 본 연구에서는 미세 조정으로 인해 발생하는 환각 현상이 지속적인 학습(Continual Learning) 분야의 기존 도구를 활용하여 완화될 수 있는지 탐구합니다. 지식 손실 과정에서 발생하는 부작용으로 인해 환각이 발생한다는 점을 고려하여, 출력 분포의 변화를 규제함으로써 효과적인 사실 학습을 촉진하고 기존 지식에 대한 환각을 최소화하는 자체 증류(Self-Distillation) 기반의 SFT 방법을 제안합니다. 또한, 새로운 지식 획득이 불필요한 경우, 파라미터 그룹을 고정하여 사실 정보의 가변성을 억제하면 작업 성능을 유지하면서 환각 현상을 줄일 수 있음을 보여줍니다. 마지막으로, 용량 제한, 행동 복제, 그리고 국소적 간섭이라는 세 가지 가설을 통해 SFT로 인한 환각 현상의 메커니즘을 조사했습니다. 실험 결과, 중복된 의미 표현 간의 간섭이 주요 원인이며, 자체 증류가 이러한 간섭을 완화하여 효과를 거둔다는 것을 확인했습니다.

Large language models are prone to hallucinating factually incorrect statements. A key source of these errors is exposure to new factual information through supervised fine-tuning (SFT), which can increase hallucinations w.r.t. knowledge acquired during pre-training. In this work, we explore whether SFT-induced hallucinations can be mitigated using established tools from the continual learning literature, since they arise as a by-product of knowledge degradation during training. We propose a self-distillation-based SFT method that facilitates effective factual learning while minimizing hallucinations w.r.t. pre-existing knowledge by regularizing output-distribution drift. We also show that, in settings where new knowledge acquisition is unnecessary, suppressing factual plasticity by freezing parameter groups, can preserve task performance while reducing hallucinations. Lastly, we investigate the mechanism behind SFT-induced hallucinations through three hypotheses: capacity limitations, behavior cloning, and localized interference. Our experiments show that a main driver is interference among overlapping semantic representations, and that self-distillation succeeds by mitigating this interference.