ChatLaw: 지식 그래프로 강화된 전문가 혼합(MoE) 대형 언어 모델 기반의 다중 에이전트 협업 법률 비서
Chatlaw: A Multi-Agent Collaborative Legal Assistant with Knowledge Graph Enhanced Mixture-of-Experts Large Language Model
대형 언어 모델(LLM) 기반의 AI 법률 비서는 접근성 높은 법률 상담 서비스를 제공할 수 있지만, 환각(hallucination) 문제는 잠재적인 법적 위험을 초래합니다. 본 논문에서는 AI 기반 법률 서비스의 신뢰성과 정확성을 향상시키기 위해 전문가 혼합(MoE) 모델과 다중 에이전트 시스템을 활용하는 혁신적인 법률 비서인 ChatLaw를 제안합니다. 지식 그래프와 인공적 선별 과정을 통합하여 MoE 모델 훈련을 위한 고품질 법률 데이터셋을 구축했습니다. 이 모델은 다양한 법률 문제를 해결하기 위해 서로 다른 전문가를 활용함으로써 법률 답변의 정확성을 최적화합니다. 또한, 실제 법률 사무소의 워크플로우를 모델로 한 표준 운영 절차(SOP)를 도입하여 법률 서비스에서의 오류와 환각 현상을 획기적으로 줄였습니다. 우리의 MoE 모델은 Lawbench와 법률 전문가 통합 자격 시험에서 GPT-4보다 각각 정확도 7.73% 및 11점 더 높은 성능을 기록했으며, 실제 사례 상담에서도 여러 차원에서 타 모델을 능가하여 강력한 법률 상담 능력을 입증했습니다.
AI legal assistants based on Large Language Models (LLMs) can provide accessible legal consulting services, but the hallucination problem poses potential legal risks. This paper presents Chatlaw, an innovative legal assistant utilizing a Mixture-of-Experts (MoE) model and a multi-agent system to enhance the reliability and accuracy of AI-driven legal services. By integrating knowledge graphs with artificial screening, we construct a high-quality legal dataset to train the MoE model. This model utilizes different experts to address various legal issues, optimizing the accuracy of legal responses. Additionally, Standardized Operating Procedures (SOP), modeled after real law firm workflows, significantly reduce errors and hallucinations in legal services. Our MoE model outperforms GPT-4 in the Lawbench and Unified Qualification Exam for Legal Professionals by 7.73% in accuracy and 11 points, respectively, and also surpasses other models in multiple dimensions during real-case consultations, demonstrating our robust capability for legal consultation.
AI Analysis
Korean Summary
Key Innovations
- 지식 그래프(KG)를 활용하여 데이터 품질을 높인 전문가 혼합(MoE) 모델 아키텍처 도입
- 법률 보조(Assistant), 조사(Researcher), 변호사(Lawyer), 편집자(Editor)로 역할을 분담한 멀티 에이전트 협업 프레임워크
- 실제 로펌의 업무 프로세스를 모방한 표준 운영 절차(SOP) 적용으로 환각 최소화
- 검색 증강 생성(RAG)과 지식 그래프를 결합하여 최신 법률 정보 및 판례의 정확한 인용 유도
- InternLM2 기반의 MoE 모델 확장을 통한 법률 도메인 특화 미세 조정
Learning & Inference Impact
학습 과정에서 이 모델은 단일 전문가 모델(Dense Model)을 MoE 구조로 확장하여 파라미터 공간을 늘리면서도, 희소 활성화(Sparse Activation)를 통해 학습 효율성을 유지했습니다. 이를 통해 다양한 법률 하위 분야(전문가)에 특화된 학습이 가능해졌습니다. 추론 단계에서는 라우팅 네트워크(Routing Network)가 입력 토큰의 특성에 따라 가장 적합한 상위 k개의 전문가(Expert)만을 선택하여 연산을 수행하므로, 전체 파라미터 대비 계산 비용(토큰당 비용)을 절감하면서도 도메인 특화 용어 처리 능력과 모델의 견고성을 향상시켰습니다. 또한 멀티 에이전트 시스템의 도입으로 단일 추론보다 단계별 검증 및 검색 과정이 추가되어 추론 시간은 길어질 수 있으나, 답변의 논리적 일관성과 사실적 정확성은 크게 강화되었습니다.
Technical Difficulty
Estimated implementation complexity based on methodology.