OvisOCR2 기술 보고서

OvisOCR2 Technical Report

본 논문에서는 0.8B 매개변수를 가진 문서 파싱 모델인 OvisOCR2를 소개합니다. OvisOCR2는 엔드 투 엔드 파서로 설계되었으며, 입력된 문서 페이지 이미지로부터 자연스러운 읽기 순서에 따른 마크다운 표현을 생성하여 텍스트, 수식, 표, 그리고 시각적 영역을 포함합니다. 저희는 필터링된 실제 문서 어노테이션과 동일한 HTML 소스에서 파생된 렌더링 이미지 및 마크다운 타겟을 가진 합성 페이지를 결합하는 데이터 엔진을 구축했습니다. 학습 과정은 지도 미세 조정, 4B 분기에서의 다중 구성 보상 설계를 갖춘 강화 학습, 0.8B 모델로의 온-정책 증류, 그리고 모델 융합을 포함합니다. OvisOCR2는 OmniDocBench v1.6에서 최고 수준인 96.58의 종합 점수를 달성하여, 파이프라인 방식이 지배하던 이 순위표에서 엔드 투 엔드 모델로서 최상위를 차지하며, 엔드 투 엔드 문서 파싱의 잠재력을 보여줍니다. 또한, PureDocBench에서도 최고 Avg3 점수인 75.06을 기록했습니다. 공개된 두 개의 벤치마크 외에도, 저희는 더 광범위한 긴 꼬리(long-tail) 및 어려운 시나리오를 포함하도록 설계된 자체 벤치마크에서 OvisOCR2를 평가했습니다. OvisOCR2는 비교 대상 방법 중 가장 우수한 전체 성능을 보였으며, 이는 일반화 능력과 안정성을 더욱 입증합니다. OvisOCR2는 https://huggingface.co/ATH-MaaS/OvisOCR2 에서 이용 가능합니다.

We introduce OvisOCR2, a 0.8B document parsing model. OvisOCR2 is designed as an end-to-end parser: given a document page image, it generates a Markdown representation in natural reading order, covering text, formulas, tables, and visual regions. We build a data engine that combines filtered real-document annotations with synthetic pages whose rendered images and Markdown targets are derived from the same HTML source. The training recipe includes supervised fine-tuning, reinforcement learning on a 4B branch with a multi-component reward design, on-policy distillation into the 0.8B model, and model fusion. On OmniDocBench v1.6, OvisOCR2 achieves a state-of-the-art overall score of 96.58, placing an end-to-end model at the top of this leaderboard previously dominated by pipeline methods and highlighting the potential of end-to-end document parsing. On PureDocBench, OvisOCR2 also achieves the highest Avg3 score of 75.06. Beyond these two public benchmarks, we evaluate OvisOCR2 on an in-house benchmark designed to cover a broader set of long-tail and challenging scenarios. OvisOCR2 obtains the best overall performance among the compared methods, providing further evidence of its generalization and robustness. OvisOCR2 is available at https://huggingface.co/ATH-MaaS/OvisOCR2.