PRISMR: 매개변수화된 표현 내재화를 통한 다중 모드 목록 순위에서 발생하는 분석 오류 극복

PRISMR: Overcoming Parse Collapse in Multimodal Listwise Ranking via Parameterized Representation Internalization

대규모 다중 모드 모델(LMM)을 사용한 생성적 목록 순위는 단일 forward pass를 통해 전체 목록 맥락을 파악하는 것을 목표로 하지만, 긴 문맥의 다중 모드 시나리오에서는 그 효과가 저하됩니다. 우리는 반복적으로 발생하는 실패 현상인 '분석 오류'(parse collapse)를 발견했는데, 이는 자동 회귀 디코더가 후보 항목을 생략하거나 조기에 종료하여 유창하지만 불완전한 순위를 생성하는 현상입니다. 이러한 실패는 단순한 서식 문제보다는 제한적인 문맥 활용으로 인해 발생하며, 프롬프트 엔지니어링 및 제약 조건 기반 디코딩으로는 충분히 해결할 수 없습니다. 우리는 PRISMR(Parameterized Representation Internalization for Semantic Multimodal Ranking)이라는 프레임워크를 제안합니다. PRISMR은 일시적인 in-context 목록 처리를 매개변수화된 구조적 조건을 통해 대체합니다. PRISMR은 경량 하이퍼 네트워크를 사용하여 다중 모드 후보 항목을 병렬로 인코딩하고, 각 항목에 특정한 LoRA 가중치를 생성하여 LMM의 인스턴스별 어댑터로 합성합니다. 이러한 방식은 기본 모델을 유지하면서 목록 구조를 보다 강력하게 내재화할 수 있도록 합니다. 또한, 성능 평가를 위한 대규모 다중 모드 리뷰-순위 벤치마크를 새롭게 제시합니다. 실험 결과는 PRISMR이 분석 오류를 크게 줄이고, 목록 순위 성능을 향상시키며, 다양한 도메인 및 instruction-tuned 기반 모델 간에 효과적으로 전송될 수 있음을 보여줍니다.

Generative listwise ranking with Large Multimodal Models (LMMs) aims to capture global list context in a single forward pass, but its effectiveness degrades in long-context multimodal scenarios. We identify a recurring failure mode, parse collapse, where the autoregressive decoder produces fluent yet incomplete rankings by silently omitting candidates and terminating early. This failure stems from limited context utilization rather than simple formatting mistakes, making prompt engineering and constrained decoding insufficient. We propose PRISMR (Parameterized Representation Internalization for Semantic Multimodal Ranking), a framework that replaces transient in-context list processing with parametric structural conditioning. PRISMR uses a lightweight hypernetwork to encode multimodal candidates in parallel and generate item-specific LoRA weights, which are synthesized into an instance-specific adapter for a LMM. This paradigm enables more robust internalization of list structure while preserving the base model. We further introduce a large-scale multimodal review-ranking benchmark for evaluation. Experiments demonstrate that PRISMR substantially reduces parse collapse, improves listwise ranking performance, and transfers effectively across domains and instruction-tuned backbones.