도메인 간 사전 지식을 활용한 유추: 컨텍스트 내 학습을 위한 도메인 간 지식 전송에 대한 실증적 연구

Reason Analogically via Cross-domain Prior Knowledge: An Empirical Study of Cross-domain Knowledge Transfer for In-Context Learning

기존의 컨텍스트 내 학습(ICL)은 성공적이었지만, 주로 해당 도메인의 전문가 데모에 의존하며, 전문가 주석이 부족할 경우 적용 가능성이 제한됩니다. 본 연구에서는 서로 다른 도메인이 근본적인 추론 구조를 공유할 수 있으며, 이를 통해 소스 도메인의 데모가 의미적 불일치에도 불구하고 대상 도메인 추론을 개선할 수 있다고 가정합니다. 이러한 가설을 검증하기 위해, 다양한 검색 방법을 활용하여 컨텍스트 내 학습 환경에서 도메인 간 지식 전송의 가능성을 실증적으로 평가했습니다. 연구 결과는 도메인 간 ICL에서 조건부 양방향 전송이 가능하다는 것을 보여줍니다. 또한, 데모 흡수 임계값을 명확하게 확인했으며, 이 임계값을 넘어서면 양방향 전송 가능성이 높아지고, 추가적인 데모가 더 큰 효과를 가져다줍니다. 추가 분석 결과, 이러한 효과는 검색된 도메인 간 예제가 추론 구조를 개선하기 때문에 발생하며, 단순히 의미적 단서 때문이 아님을 시사합니다. 전반적으로, 본 연구는 도메인 간 지식 전송을 활용하여 도메인 간 ICL 성능을 향상시킬 수 있다는 가능성을 입증하며, 이 새로운 방향에 대한 더욱 효과적인 검색 방법 개발을 촉구합니다. (구현 코드는 다음 주소에서 확인 가능합니다: https://github.com/littlelaska/ICL-TF4LR)

Despite its success, existing in-context learning (ICL) relies on in-domain expert demonstrations, limiting its applicability when expert annotations are scarce. We posit that different domains may share underlying reasoning structures, enabling source-domain demonstrations to improve target-domain inference despite semantic mismatch. To test this hypothesis, we conduct a comprehensive empirical study of different retrieval methods to validate the feasibility of achieving cross-domain knowledge transfer under the in-context learning setting. Our results demonstrate conditional positive transfer in cross-domain ICL. We identify a clear example absorption threshold: beyond it, positive transfer becomes more likely, and additional demonstrations yield larger gains. Further analysis suggests that these gains stem from reasoning structure repair by retrieved cross-domain examples, rather than semantic cues. Overall, our study validates the feasibility of leveraging cross-domain knowledge transfer to improve cross-domain ICL performance, motivating the community to explore designing more effective retrieval approaches for this novel direction.\footnote{Our implementation is available at https://github.com/littlelaska/ICL-TF4LR}