CoDA: CoT 기반 도메인 적응을 통한 효과적인 교차 도메인 지식 전달 연구

CoDA: Towards Effective Cross-domain Knowledge Transfer via CoT-guided Domain Adaptation

대규모 언어 모델(LLM)은 논리적 추론 능력에서 상당한 발전을 이루었지만, 여전히 인간 수준의 성능에는 미치지 못합니다. 입력에 전문가가 선별한, 특정 도메인에 속하는 예시를 제공하는 인-컨텍스트 학습은 모델의 성능을 향상시키는 효과적인 방법입니다. 그러나 저자원 과학 분야, 신흥 생의학 분야 또는 전문적인 법률 분야와 같이 전문 지식이 부족한 많은 실제 분야에서, 이러한 고품질의 도메인 내 예시는 본질적으로 제한적이거나 전혀 존재하지 않아 이러한 접근 방식의 일반적인 적용 가능성을 제한합니다. 이러한 제한 사항을 완화하기 위해 최근 연구에서는 교차 도메인 샘플을 활용하여 인-컨텍스트 학습의 역할을 대체하는 시도가 있었습니다. 그러나 이러한 시도의 효과는 여전히 미미합니다. 이는 주로 소스 도메인과 대상 도메인 간의 상당한 차이로 인해 모델이 기본 구조 또는 잠재적인 추론 패턴을 효과적으로 식별하고 활용하는 능력이 저해되기 때문입니다. 결과적으로, 텍스트 프롬프팅에만 의존하는 LLM은 이러한 교차 도메인 지식을 강력하고 체계적인 방식으로 추상화하고 전달하는 데 어려움을 겪습니다. 이러한 문제점을 해결하기 위해, 우리는 중간 은닉 상태에 직접 개입하는 가벼운 어댑터를 사용하는 CoDA를 제안합니다. CoT(Chain-of-Thought)를 활용한 참조 표현의 특징 기반 증류와 커널 기반 분포 정렬을 위한 최대 평균 불일치(MMD)를 결합하여, 저희 방법은 소스 도메인과 대상 도메인의 잠재적인 추론 표현을 정렬합니다. 다양한 모델 패밀리에 걸친 여러 논리적 추론 작업에 대한 광범위한 실험 결과는 CoDA가 기존의 최첨단 모델을 상당한 차이로 능가하며, 효과성을 입증합니다.

Large language models (LLMs) have achieved substantial advances in logical reasoning, yet they continue to lag behind human-level performance. In-context learning provides a viable solution that boosts the model's performance via prompting its input with expert-curated, in-domain exemplars. However, in many real-world, expertise-scarce domains, such as low-resource scientific disciplines, emerging biomedical subfields, or niche legal jurisdictions, such high-quality in-domain demonstrations are inherently limited or entirely unavailable, thereby constraining the general applicability of these approaches. To mitigate this limitation, recent efforts have explored the retrieval of cross-domain samples as surrogate in-context demonstrations. Nevertheless, the resulting gains remain modest. This is largely attributable to the pronounced domain shift between source and target distributions, which impedes the model's ability to effectively identify and exploit underlying shared structures or latent reasoning patterns. Consequently, when relying solely on raw textual prompting, LLMs struggle to abstract and transfer such cross-domain knowledge in a robust and systematic manner. To address these issues, we propose CoDA, which employs a lightweight adapter to directly intervene in the intermediate hidden states. By combining feature-based distillation of CoT-enriched reference representations with Maximum Mean Discrepancy (MMD) for kernelized distribution matching, our method aligns the latent reasoning representation of the source and target domains. Extensive experimental results on multiple logical reasoning tasks across various model families validate the efficacy of CoDA by significantly outperforming the previous state-of-the-art baselines by a large margin.