일관성 기반 공진화: 자기 지도 학습을 통한 교차 표현 학습

Consistency-Driven Co-Evolution for Self-Supervised Cross-Representation Learning

차트 이미지, 표 데이터 및 시각화 코드가 다양한 분야에서 점점 더 중요한 역할을 하면서, 이러한 모달리티 간의 교차 표현 이해는 AI 시스템에 근본적인 과제를 제시합니다. 이러한 관계는 본질적으로 *일대다* 관계이며, 감독 신호는 불명확하고 비용이 많이 들며, 모델 최적화에는 작업별 목표를 넘어 방향 적응적이고 표현 일반화 가능한 원리 있는 신호가 부족합니다. 우리는 차트, 표 및 코드 표현 간의 일관성을 향상시키기 위해 CoCoEvolve를 소개합니다. 교차 표현 매핑을 일대다 문제로 취급하는 대신, 명시적인 일대일 대응 관계를 정의하고 추가적인 주석 없이 표현 간의 합의를 사용하여 모델을 최적화합니다. 학습 과정에서 CoCoEvolve@Train은 차트-표-코드 사이클에 걸쳐 공진화를 수행하고, CoCoEvolve@Test는 테스트 시점의 공진화를 위해 동일한 일관성 목표를 추론 시간에 적용합니다. 또한 모든 여섯 가지 교차 표현 작업에 대한 평가 도구인 CoCoEvolve@Eval을 제공합니다. 네 가지 벤치마크에서 CoCoEvolve는 학습 시간 및 테스트 시간 설정 모두에서 성능 향상을 보입니다. 프로젝트 페이지: https://xhguo7.github.io/CoCoEvolve/.

As chart images, tabular data, and visualization code play increasingly important roles across diverse domains, cross-representation understanding across these modalities poses fundamental challenges for AI systems: the relationships across representations are inherently \textit{one-to-many}, supervision is ambiguous and costly, and model optimization lacks a principled signal that is both direction-adaptive and representation-generalizable beyond task-specific objectives. We introduce CoCoEvolve to improve consistency across chart, table, and code representations. Instead of treating cross-representation mapping as a one-to-many problem, we define explicit one-to-one correspondences and optimize models using agreement between representations, without additional annotations. During training, CoCoEvolve@Train performs co-evolution across the chart-table-code cycle, while CoCoEvolve@Test applies the same consistency objective at inference time for test-time co-optimization. We also present CoCoEvolve@Eval, an evaluation suite covering all six cross-representation tasks. Across four benchmarks, CoCoEvolve improves performance in both training-time and test-time settings. Our project page: https://xhguo7.github.io/CoCoEvolve/.