LLM 미세 조정 데이터셋을 위한 설명 가능한 토큰 레벨 노이즈 필터링

Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets

대규모 언어 모델(LLM)은 다양한 분야에서 뛰어난 성능을 보여주며 비약적인 발전을 이루었습니다. LLM을 특정 하위 작업에 맞게 조정하는 중요한 단계인 미세 조정은 일반적으로 해당 데이터셋을 사용하여 추가 학습을 수행합니다. 그러나 현재 미세 조정 데이터셋과 LLM의 토큰 레벨 최적화 메커니즘 사이에 근본적인 불일치가 존재합니다. 대부분의 데이터셋은 문장 레벨로 설계되어 토큰 레벨의 노이즈를 유발하며, 이는 최종 성능에 부정적인 영향을 미칩니다. 본 논문에서는 설명 가능한 토큰 레벨 노이즈 필터링 프레임워크인 XTF를 제안합니다. XTF는 토큰 레벨 데이터가 미세 조정 과정에 미치는 복잡하고 미묘한 영향을 세 가지 명확하고 구체적인 속성(추론 중요도, 지식의 신규성, 작업 관련성)으로 분해하고, 이러한 속성은 점수 부여 방법을 사용하여 평가할 수 있습니다. 그런 다음, 선택된 노이즈 토큰의 그래디언트를 마스킹하여 미세 조정된 LLM의 성능을 최적화합니다. 우리는 7개의 주요 LLM을 사용하여 수학, 코딩, 의학 등 세 가지 대표적인 하위 작업에 대한 광범위한 실험을 수행했습니다. 결과는 XTF가 일반적인 미세 조정에 비해 최대 13.7%까지 하위 작업 성능을 크게 향상시킬 수 있음을 보여줍니다. 본 연구는 토큰 레벨 데이터셋 최적화의 중요성을 강조하고, 속성 분해를 기반으로 하는 전략이 복잡한 학습 메커니즘을 설명하는 데 잠재력을 가지고 있음을 보여줍니다.

Large Language Models (LLMs) have seen remarkable advancements, achieving state-of-the-art results in diverse applications. Fine-tuning, an important step for adapting LLMs to specific downstream tasks, typically involves further training on corresponding datasets. However, a fundamental discrepancy exists between current fine-tuning datasets and the token-level optimization mechanism of LLMs: most datasets are designed at the sentence-level, which introduces token-level noise, causing negative influence to final performance. In this paper, we propose XTF, an explainable token-level noise filtering framework. XTF decomposes the complex and subtle contributions of token-level data to the fine-tuning process into three distinct and explicit attributes (reasoning importance, knowledge novelty, and task relevance), which can be assessed using scoring methods, and then masks the gradients of selected noisy tokens accordingly to optimize the performance of fine-tuned LLMs. We conduct extensive experiments on three representative downstream tasks (math, code and medicine) across 7 mainstream LLMs. The results demonstrate that XTF can significantly improve downstream performance by up to 13.7% compared to regular fine-tuning. Our work highlights the importance of token-level dataset optimization, and demonstrates the potential of strategies based on attribute decomposition for explaining complex training mechanisms.