하나의 패치면 충분하다: 강화 학습 기반 시각적 토큰 정렬을 통한 멀티모달 대규모 언어 모델(MLLM) 기반 장면 텍스트 인식

One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting

장면 텍스트 인식을 위해서는 텍스트 인식과 공간 위치 파악 간의 높은 정확도의 연관성이 필수적이다. 시각적 토큰 정렬은 멀티모달 대규모 언어 모델(MLLM)을 위한 유망한 방법론으로 떠올랐지만, 기존의 다중 패치 방식은 종종 불필요한 노이즈와 위치 파악의 모호성을 야기하며, 특히 밀집되거나 작은 텍스트 인스턴스에서 더욱 그렇다. 이러한 문제를 해결하기 위해, 우리는 각 텍스트 인스턴스를 하나의 기준 시각적 토큰을 통해 처리하고 전체 이미지 정제를 통해 기하학적 정보를 복원하는 비전 중심 프레임워크인 Single-Patch Text Spotting (SPaTS)를 제안한다. 이 기준 토큰을 오라클 레이블 없이 정확하게 식별하기 위해, 우리는 패치 수준의 보상을 사용하여 이산적인 시각적 토큰 선택을 최적화하는 강화 학습 프레임워크인 Single-Patch Selective Optimization (SPaSO)를 도입했다. 또한, 표현력의 안정성과 위치 파악의 정확성을 더욱 향상시키기 위해, 특징 벡터의 크기와 방향을 분리하여 불안정한 정규화 편향을 억제하는 Directional Embedding Alignment (DEA)와, 라우팅된 기준 토큰과 언어 의미를 결합하고 전체 이미지 특징 맵에 대한 교차 주의(cross-attention)를 통해 기하학적 정보를 고려한 경계 회귀를 수행하는 Patch-Enhanced Decoding (PED)를 도입했다. 광범위한 실험 결과는 SPaTS가 최첨단 폐쇄형 MLLM과 OCR 기반 MLLM 모두에서 일관되고 현저하게 우수한 성능을 보임을 보여준다. 코드 배포 예정.

Scene text spotting requires high-precision alignment between textual recognition and spatial localization. While visual-token grounding has emerged as a promising formulation for Multimodal Large Language Models (MLLMs), the previous multi-patch paradigm often introduces redundant noise and localization ambiguity, particularly for dense or small text instances. To address this, we propose Single-Patch Text Spotting (SPaTS), a vision-centric framework that routes each text instance through a single anchor visual token and then recovers geometry via full-image refinement. To accurately identify this anchor without oracle labels, we introduce Single-Patch Selective Optimization (SPaSO), a reinforcement learning framework that optimizes discrete visual-token selection using patch-level rewards. To further improve representation robustness and localization precision, we introduce Directional Embedding Alignment (DEA) to suppress unstable norm bias by decoupling feature magnitude and direction, and Patch-Enhanced Decoding (PED) to fuse the routed anchor with language semantics and cross-attend over the full-image feature map for geometry-aware boundary regression beyond coordinate-space surrogates. Extensive experiments demonstrate that SPaTS consistently and significantly outperforms both frontier closed-source MLLMs and OCR MLLMs. Code will be released soon.