기울기 직교성을 활용한 효율적인 도메인 적응을 위한 학습 데이터 선택

Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation

특정 도메인에 맞게 대규모 언어 모델(LLM)을 미세 조정하는 것은 종종 도메인 전문성을 확보하는 것과 일반적인 추론 능력을 유지하는 것 사이의 균형을 필요로 하며, 이를 '파국적 망각' 현상이라고 합니다. 기존의 해결 방법들은 두 가지 대립적인 접근 방식을 가지고 있습니다. 기울기 수정 방법은 기하학적 안전성을 제공하지만 온라인 투영으로 인해 엄청난 계산 비용이 발생하며, 효율적인 데이터 선택 방법은 오버헤드를 줄이지만 충돌을 유발하는 기울기 방향을 파악하지 못합니다. 본 논문에서는 도메인 성능, 일반적인 능력 유지, 그리고 학습 효율성을 조화시키는 데이터 중심적인 방법인 '직교 기울기 선택(Orthogonal Gradient Selection, OGS)'을 제안합니다. OGS는 기울기 투영의 기하학적 통찰력을 옵티마이저가 아닌 데이터 선택 단계로 이동시켜 데이터 선택을 제약 조건이 있는 의사 결정 프로세스로 취급합니다. 경량화된 Navigator 모델과 강화 학습 기술을 활용하여 OGS는 일반 지식 앵커에 직교하는 기울기를 갖는 학습 샘플을 동적으로 식별합니다. 이러한 접근 방식은 옵티마이저를 수정하거나 런타임 투영 비용을 발생시키지 않고 대상 모델에 대한 자연스럽고 안전한 업데이트를 보장합니다. 의료, 법률, 금융 도메인에서의 실험 결과, OGS는 우수한 성능을 달성하며, 도메인 성능과 학습 효율성을 크게 향상시키면서 GSM8K과 같은 일반적인 작업에서의 성능을 유지하거나 향상시키는 것으로 나타났습니다.

Fine-tuning large language models (LLMs) for specialized domains often necessitates a trade-off between acquiring domain expertise and retaining general reasoning capabilities, a phenomenon known as catastrophic forgetting. Existing remedies face a dichotomy: gradient surgery methods offer geometric safety but incur prohibitive computational costs via online projections, while efficient data selection approaches reduce overhead but remain blind to conflict-inducing gradient directions. In this paper, we propose Orthogonal Gradient Selection (OGS), a data-centric method that harmonizes domain performance, general capability retention, and training efficiency. OGS shifts the geometric insights of gradient projection from the optimizer to the data selection stage by treating data selection as a constrained decision-making process. By leveraging a lightweight Navigator model and reinforcement learning techniques, OGS dynamically identifies training samples whose gradients are orthogonal to a general-knowledge anchor. This approach ensures naturally safe updates for target models without modifying the optimizer or incurring runtime projection costs. Experiments across medical, legal, and financial domains demonstrate that OGS achieves excellent results, significantly improving domain performance and training efficiency while maintaining or even enhancing performance on general tasks such as GSM8K.