PromptPath: 프롬프트 기반 적응형 계산 경로를 활용한 인컨텍스트 학습

PromptPath: Prompt-Adaptive Computational Pathways for In-Context Learning

인컨텍스트 학습(ICL)은 모델이 몇 개의 "입력-출력" 프롬프트 예시만으로 새로운 작업을 수행할 수 있도록 하는 기술로, 최근 많은 관심을 받고 있습니다. 그러나 기존의 접근 방식들은 **피상적인 작업 적응**이라는 문제를 가지고 있으며, 여기서 프롬프트는 주로 시맨틱 표현을 통해 작업 의도를 암묵적으로 추론하는 데 사용되는 문맥적 단서 역할을 하지만, 기본적인 계산 과정은 변경되지 않습니다. 이러한 제한점은 작업별 맞춤형 적응을 어렵게 하고 추론의 해석 가능성을 저해합니다. 본 연구에서는 프롬프트가 특징 표현을 조건짓는 것뿐만 아니라, 모델의 계산 경로를 동적으로 조절해야 한다고 주장합니다. 이에 따라, 프롬프트 기반으로 동적인 경로를 생성하여 계산 수준에서의 적응을 가능하게 하는 **PromptPath**라는 적응형 ICL 프레임워크를 제안합니다. 구체적으로, PromptPath는 프롬프트에 의해 작동되는 라우팅 메커니즘을 도입하여, 경량의 저랭크 전문가들을 선택적으로 활성화하고 조합함으로써, 다양한 프롬프트에 맞춰 작업별 맞춤형 계산 경로를 형성합니다. PromptPath는 프롬프트 정보를 추론 과정에 직접 통합하여 모델의 계산 방식을 동적으로 재구성함으로써, 작업 특화 및 해석 가능성을 향상시킵니다. 3D 포인트 클라우드 및 2D 시각 인식 벤치마크에서의 광범위한 실험 결과는 PromptPath가 최첨단 ICL 기반 기술보다 우수한 성능을 보이며, 다양한 도메인과 작업에 대한 일반화 능력이 뛰어나다는 것을 보여줍니다.

In-context learning (ICL) has attracted increasing attention for enabling models to perform new tasks using only a few ``input--output'' prompt examples. However, existing approaches suffer from \textbf{shallow task adaptation}, where prompts are primarily used as contextual cues to implicitly infer task intent through semantic representations, while the underlying computational process remains unchanged. This limitation restricts task-specific adaptation and compromises inference interpretability. We argue that prompts should not only condition feature representations but also dynamically regulate the model's computation pathways. To this end, we propose \textbf{PromptPath}, an adaptive ICL framework that enables computation-level adaptation through prompt-conditioned dynamic pathways. Specifically, PromptPath introduces a prompt-driven routing mechanism to selectively activate and compose lightweight low-rank experts, forming task-specific computational pathways tailored to different prompts. By integrating prompt information directly into the inference process, PromptPath dynamically reconfigures model computation to enhance task specialization and interpretability. Extensive experiments on 3D point cloud and 2D visual recognition benchmarks demonstrate that PromptPath consistently outperforms state-of-the-art ICL baselines while exhibiting strong cross-domain and cross-task generalization.