PatRe: 특허 심사 과정의 전체 단계를 포괄하는 심사 결정서 생성 및 반론 생성 벤치마크

PatRe: A Full-Stage Office Action and Rebuttal Generation Benchmark for Patent Examination

특허 심사는 기술 전문성과 법률적 판단 능력이 모두 요구되는 복잡하고 다단계적인 과정이며, 최근에는 심사 신청 건수의 증가로 인해 더욱 어려움을 겪고 있습니다. 기존의 벤치마크들은 특허 심사를 주로 분류 문제 또는 정적인 정보 추출 문제로 간주하여, 학술 출판에서 동료 검토 및 반론 과정과 유사한 특허 심사의 본질적인 상호 작용적이고 반복적인 특성을 제대로 반영하지 못했습니다. 본 논문에서는 특허 심사 전체 라이프사이클을 모델링하는 최초의 벤치마크인 PatRe를 소개합니다. PatRe는 480개의 실제 사례로 구성되어 있으며, oracle 기반 평가 및 검색 기반 시뮬레이션 평가 방식을 모두 지원합니다. PatRe 벤치마크는 특허 심사를 정당화와 응답의 동적이고 다단계적인 과정으로 재정의합니다. 다양한 LLM을 사용한 광범위한 실험을 통해 모델 성능에 대한 중요한 통찰력을 얻었으며, 여기에는 독점 모델과 오픈 소스 모델 간의 차이점, 그리고 심사관 분석과 신청인 측 반론 간의 작업 불균형이 포함됩니다. 이러한 결과는 LLM이 특허 심사에서 복잡한 실제 법률적 추론 및 기술적 신규성 판단을 모델링하는 데 있어 잠재력과 현재의 한계를 동시에 보여줍니다. 우리는 향후 특허 심사 모델링 연구를 촉진하기 위해 코드와 데이터셋을 공개합니다.

Patent examination is a complex, multi-stage process requiring both technical expertise and legal reasoning, increasingly challenged by rising application volumes. Prior benchmarks predominantly view patent examination as discriminative classification or static extraction, failing to capture its inherently interactive and iterative nature, similar to the peer review and rebuttal process in academic publishing. In this paper, we introduce PatRe, the first benchmark that models the full patent examination lifecycle, including Office Action generation and applicant rebuttal. PatRe comprises 480 real-world cases and supports both oracle and retrieval-simulated evaluation settings. Our benchmark reframes patent examination as a dynamic, multi-turn process of justification and response. Extensive experiments across various LLMs reveal critical insights into model performance, including differences between proprietary and open-source models, as well as task asymmetries between examiner analysis and applicant-side rebuttal. These findings highlight both the potential and current limitations of LLMs in modeling complex, real-world legal reasoning and technical novelty judgment in patent examination. We release our code and dataset to facilitate future research on patent examination modeling.