법률 분야를 위한 장문 질문 답변: 긴 문맥 활용

Long-Context Long-Form Question Answering for Legal Domain

법률 문서들은 복잡한 문서 구조를 가지며, 여러 개의 중첩된 섹션, 긴 각주, 그리고 정교한 문법 구조 및 특정 분야 어휘와 같은 전문적인 언어적 장치를 사용하여 정확성과 권위를 보장합니다. 이러한 법률 문서의 고유한 특징들은 질문 답변을 어렵게 만들며, 특히 질문에 대한 답변이 여러 페이지에 걸쳐 나타나고 (즉, 긴 문맥이 필요하고), 포괄적인 답변 (즉, 장문의 답변)이 요구될 때 더욱 어렵습니다. 본 논문에서는 법률 문서의 특성을 고려하여 장문 질문 답변의 어려움에 대한 해결책을 제시합니다. 우리는 (a) 소스 문서에서 더 나은 검색을 위해 특정 분야의 어휘를 분석하고, (b) 복잡한 문서 구조를 파악하여 섹션과 각주를 분리하고 적절하게 연결하며, (c) 정확한 특정 분야 어휘를 사용하여 포괄적인 답변을 생성하는 질문 답변 시스템을 제안합니다. 또한, 시스템 성능을 재현율 기반으로 분류하는 평가 지표를 도입하여 사용자가 재현율을 쉽게 평가할 수 있도록 합니다. 우리는 법률 및 기업 세금 분야 전문가의 지식을 활용하여 질문-답변 데이터셋을 구축했습니다. 종합적인 실험과 분석을 통해, 제안된 시스템의 유용성과 장점을 입증합니다.

Legal documents have complex document layouts involving multiple nested sections, lengthy footnotes and further use specialized linguistic devices like intricate syntax and domain-specific vocabulary to ensure precision and authority. These inherent characteristics of legal documents make question answering challenging, and particularly so when the answer to the question spans several pages (i.e. requires long-context) and is required to be comprehensive (i.e. a long-form answer). In this paper, we address the challenges of long-context question answering in context of long-form answers given the idiosyncrasies of legal documents. We propose a question answering system that can (a) deconstruct domain-specific vocabulary for better retrieval from source documents, (b) parse complex document layouts while isolating sections and footnotes and linking them appropriately, (c) generate comprehensive answers using precise domain-specific vocabulary. We also introduce a coverage metric that classifies the performance into recall-based coverage categories allowing human users to evaluate the recall with ease. We curate a QA dataset by leveraging the expertise of professionals from fields such as law and corporate tax. Through comprehensive experiments and ablation studies, we demonstrate the usability and merit of the proposed system.