LLM은 시간 여행이 가능할까요? 강화 학습을 통한 법률 에이전트 검색의 시간적 일관성 향상

Can LLMs Time Travel? Enhancing Temporal Consistency in Legal Agentic Search through Reinforcement Learning

에이전트 검색 기능을 갖춘 대규모 언어 모델(LLM)은 법률 추론 분야에서 잠재력을 보여주지만, 적용 가능한 법률은 각 사건의 시간적 맥락과 일치해야 한다는 기본적인 제약을 간과합니다. 과거의 법률을 현재에 소급적으로 적용하는 것은 핵심적인 법률 원칙에 위배되며 잘못된 결론으로 이어질 수 있습니다. 우리의 연구 결과는 현재의 법률 LLM이 학습 데이터의 종료 시점에 갇힌 시간적 편향을 가지고 있으며, 검색 에이전트가 거의 시간적 제약을 고려하지 않고 쿼리를 수행하며, 웹 검색만으로는 법률 추론에 필요한 정확한 법 조항 및 판례 인용 정보를 제공할 수 없다는 것을 보여줍니다. 이러한 문제점을 해결하기 위해, 우리는 LegalSearch-R1이라는 통합 강화 학습 프레임워크를 제안합니다. 이 프레임워크는 정밀한 법 조항 매칭을 위한 로컬 RAG(Retrieval Augmented Generation)와 광범위한 법률 지식을 얻기 위한 온라인 웹 검색을 결합하며, 다양한 개정 기간에 걸쳐 시간적으로 색인된 데이터를 사용하여 시간적 일관성을 강화하도록 학습되었습니다. 13가지 법률 관련 작업으로 구성된 우리의 벤치마크에서 수행한 광범위한 실험 결과, 70억 개의 파라미터를 가진 우리 에이전트는 최첨단 딥러닝 연구 프레임워크 및 전문적인 법률 LLM보다 12.9%에서 29.8% 더 우수한 성능을 보였으며, 시간적 일관성 측면에서는 기존 모델 대비 57.7%에서 80.3% 더 높은 성능을 달성했으며, 다양한 분야에서도 뛰어난 일반화 능력을 보여주었습니다. 코드 및 데이터는 https://github.com/AlexFanw/LegalSearch-R1 에서 확인할 수 있습니다.

While large language models (LLMs) augmented with agentic search capabilities show promise for legal reasoning, they overlook a fundamental constraint that applicable law must match the temporal context of each case, as retroactive application of statutes violates core legal principles and leads to erroneous conclusions. Our observations reveal that current legal LLMs suffer from temporal bias anchored to their training cutoff, while search agents rarely incorporate temporal constraints into queries, and that web search alone cannot provide the precise statute and precedent citations that legal reasoning demands. To address these challenges, we propose LegalSearch-R1, an end-to-end reinforcement learning framework that pairs local statute RAG for precise article matching with online web search for broader legal knowledge, trained on temporally-indexed data spanning multiple amendment periods to enforce temporal consistency. Extensive experiments on our benchmark covering 13 legal tasks demonstrate that our 7B-parameter agent outperforms state-of-the-art deep research frameworks and specialized legal LLMs by 12.9% to 29.8%, surpasses baselines by 57.7% to 80.3% on temporal consistency, and exhibits robust out-of-domain generalization. The code and data are available at https://github.com/AlexFanw/LegalSearch-R1.