루웬 기술 보고서

Luwen Technical Report

대규모 언어 모델은 다양한 자연어 처리 작업에서 놀라운 성능을 보여주었지만, 전문 용어, 복잡한 추론 요구 사항, 빠르게 변화하는 법률 지식 등으로 인해 법률 분야에 적용하는 것은 여전히 어려운 과제입니다. 본 논문에서는 Baichuan 기반 모델을 활용하여 개발된 오픈 소스 중국어 법률 언어 모델인 Luwen을 소개합니다. Luwen은 대규모 법률 데이터 코퍼스에 대한 지속적인 사전 훈련, 신중하게 선별된 법률 지시 데이터에 대한 지도 미세 조정, 그리고 포괄적인 법률 지식 베이스와 통합된 검색 증강 생성 기술이라는 세 가지 핵심 기술을 통해 구축되었습니다. 우리는 법률 판단 예측, 사법 시험, 법률 텍스트 요약, 법 조항 질의 응답, 사법 결정 추론 등 예측 및 생성 설정을 모두 포괄하는 다섯 가지 대표적인 법률 작업에서 Luwen을 평가했습니다. 실험 결과는 Luwen이 여러 강력한 기준 모델보다 우수한 성능을 보였으며, 이는 일반적인 언어 모델을 법률 분야에 적용하는 데 있어 본 연구의 접근 방식이 효과적임을 입증합니다.

Large language models have demonstrated remarkable capabilities across a wide range of natural language processing tasks, yet their application in the legal domain remains challenging due to the specialized terminology, complex reasoning requirements, and rapidly evolving legal knowledge involved. In this paper, we present Luwen, an open-source Chinese legal language model built upon the Baichuan foundation model through three key techniques: continual pre-training on a large-scale legal corpus, supervised fine-tuning with carefully curated legal instruction data, and retrieval-augmented generation integrated with a comprehensive legal knowledge base. We evaluate Luwen on five representative legal tasks spanning both prediction and generation settings, including legal judgment prediction, judicial examination, legal text summarization, law article question answering, and judicial decision reasoning. Experimental results show that Luwen outperforms several strong baselines, demonstrating the effectiveness of our approach in adapting general-purpose language models to the legal domain.