멀티모달 대형 언어 모델을 활용한 시계열 추론을 위한 근거 기반 문맥 내 학습

Rationale-Grounded In-Context Learning for Time Series Reasoning with Multimodal Large Language Models

기존 멀티모달 대형 언어 모델의 시계열 추론 성능이 저조한 원인은 시간적 관측과 다운스트림 결과를 연결하는 근거 사전 지식(rationale priors)의 부재에 있으며, 이로 인해 모델은 원칙적인 추론보다는 피상적인 패턴 매칭에 의존하게 된다. 이에 따라 우리는 근거(rationale)가 사후 설명이 아닌 추론을 유도하는 단위로 기능하는 시계열 추론용 근거 기반 문맥 내 학습을 제안하고, RationaleTS 방법론을 개발하였다. 구체적으로, 관측 가능한 증거로부터 잠재적 결과에 이르는 추론 경로로 구성된 레이블 조건부 근거를 먼저 유도한다. 그 후, 새로운 샘플에 대한 최종 문맥 내 추론을 수행하기 위해, 시간적 패턴과 의미론적 문맥의 균형을 맞춰 연관된 근거 사전 지식을 검색하는 하이브리드 검색 방식을 설계한다. 우리는 세 가지 도메인의 시계열 추론 작업에서 제안된 RationaleTS의 효과와 효율성을 입증하기 위해 광범위한 실험을 수행하였다. 연구 재현을 위해 코드를 공개할 예정이다.

The underperformance of existing multimodal large language models for time series reasoning lies in the absence of rationale priors that connect temporal observations to their downstream outcomes, which leads models to rely on superficial pattern matching rather than principled reasoning. We therefore propose the rationale-grounded in-context learning for time series reasoning, where rationales work as guiding reasoning units rather than post-hoc explanations, and develop the RationaleTS method. Specifically, we firstly induce label-conditioned rationales, composed of reasoning paths from observable evidence to the potential outcomes. Then, we design the hybrid retrieval by balancing temporal patterns and semantic contexts to retrieve correlated rationale priors for the final in-context inference on new samples. We conduct extensive experiments to demonstrate the effectiveness and efficiency of our proposed RationaleTS on three-domain time series reasoning tasks. We will release our code for reproduction.