도메인 불변 신경망 기반 검색을 통한 효과적인 문맥 내 교차 도메인 지식 전달 연구

Towards Effective In-context Cross-domain Knowledge Transfer via Domain-invariant-neurons-based Retrieval

대규모 언어 모델(LLM)은 논리적 추론 분야에서 상당한 발전을 이루었지만, 여전히 인간 수준의 성능에는 미치지 못합니다. 현재의 성능 향상 전략은 전문가가 제작한 특정 도메인 데이터에 의존하며, 이는 전문 지식이 부족한 분야, 예를 들어 특수 수학적 추론, 형식 논리 또는 법률 분석 분야에서 적용이 제한됩니다. 본 연구에서는 교차 도메인 예제를 활용하여 LLM의 추론 성능을 향상시킬 수 있음을 입증합니다. 상당한 도메인 차이에도 불구하고, 여러 도메인에서 공유되는 재사용 가능한 암묵적인 논리 구조가 많이 존재합니다. 본 연구에서는 조사 대상인 새로운 도메인에 대해 교차 도메인 예제를 효과적으로 검색하기 위해, 도메인 불변 신경망 기반 검색(DIN-Retrieval)이라는 효과적인 검색 방법을 제안합니다. 간단히 말해서, DIN-Retrieval은 먼저 다양한 도메인에서 공통적인 숨겨진 표현을 요약합니다. 그런 다음, 추론 단계에서 DIN 벡터를 사용하여 문맥 내 학습을 위한 구조적으로 호환되는 교차 도메인 예제를 검색합니다. 수학적 및 논리적 추론의 다양한 환경에서 수행된 실험 결과, 제안하는 방법이 최첨단 방법보다 평균 1.8%의 성능 향상을 달성함을 보여줍니다. (참고: 본 연구의 구현 코드는 https://github.com/Leon221220/DIN-Retrieval 에서 확인할 수 있습니다.)

Large language models (LLMs) have made notable progress in logical reasoning, yet still fall short of human-level performance. Current boosting strategies rely on expert-crafted in-domain demonstrations, limiting their applicability in expertise-scarce domains, such as specialized mathematical reasoning, formal logic, or legal analysis. In this work, we demonstrate the feasibility of leveraging cross-domain demonstrating examples to boost the LLMs' reasoning performance. Despite substantial domain differences, many reusable implicit logical structures are shared across domains. In order to effectively retrieve cross-domain examples for unseen domains under investigation, in this work, we further propose an effective retrieval method, called domain-invariant neurons-based retrieval (\textbf{DIN-Retrieval}). Concisely, DIN-Retrieval first summarizes a hidden representation that is universal across different domains. Then, during the inference stage, we use the DIN vector to retrieve structurally compatible cross-domain demonstrations for the in-context learning. Experimental results in multiple settings for the transfer of mathematical and logical reasoning demonstrate that our method achieves an average improvement of 1.8 over the state-of-the-art methods \footnote{Our implementation is available at https://github.com/Leon221220/DIN-Retrieval}.