DiARC: 양수 및 음수 샘플을 구별하는 것이 대규모 언어 모델의 ARC 유사 추론 능력 향상에 미치는 영향

\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

추상화 및 추론 코퍼스(ARC;~ cbi{ olink{chollet2019measure}})는 제한된 격자 데이터 샘플에서 패턴을 요약하고 출력 격자를 예측해야 하는 작업을 포함합니다. 최근, 많은 대규모 언어 모델 기반 접근 방식이 이를 텍스트 기반의 추론 작업으로 변환하려고 시도했습니다. 그러나 오픈 소스 모델을 기반으로 한 방법은 일반적으로 만족스러운 결과를 얻지 못했으며, 폐쇄형 모델에 의존하는 방법은 비용이 너무 많이 듭니다. 현재 노력은 주로 데이터 증강에 집중되어 있으며, 보다 포괄적인 지도 학습을 위해 ARC와 유사한 데이터를 구축합니다. 본 연구에서는 ARC와 유사한 문제를 해결하기 위해서는 extit{양수} 샘플에 대한 지시뿐만 아니라 모델의 추론 능력을 향상시키기 위한 extit{음수} 샘플을 구별하는 능력도 필요하다고 주장합니다. 이를 위해, 우리는 선호도 정렬(preference alignment) 개념을 활용하여 모델이 두 샘플을 구별할 수 있도록 선호 쌍을 구성하는 방법인 extsc{DiARC}를 제안합니다. 특히, 출력 수준의 시각적 변환, DSL 수준의 규칙 반전, 그리고 작업별 규칙 편집 등 세 가지 방법을 통해 음수 샘플을 구축하도록 제안합니다. 결과적으로 생성된 음수 샘플은 관찰된 데모를 변경하지 않으면서도 유용한 근접 오류(near-miss) 대안을 제공합니다. 여러 ARC와 유사한 벤치마크에서의 실험 결과는 extsc{DiARC}가 기준 모델보다 지속적으로 성능을 향상시킨다는 것을 보여줍니다. 코드는 https://github.com/szu-tera/DiARC 에서 공개됩니다.

The Abstraction and Reasoning Corpus (ARC;~\citealp{chollet2019measure}) contains tasks that require summarizing patterns from limited grid samples and predicting output grids. Recently, many large language model based approaches have attempted to transform it into a text-based reasoning task. However, methods based on open-source models have generally yielded unsatisfactory results, while those relying on closed-source models are too costly. Current efforts mainly focus on data augmentation, constructing ARC-like data for more comprehensive supervised fine-tuning. In this work, we argue that solving ARC-like problems requires not only \textit{positive} sample supervision but also the ability to improve model reasoning by distinguishing \textit{negative} samples. To this end, we draw on the idea of preference alignment and propose \textsc{DiARC}, a method that constructs preference pairs to enable the model to distinguish between them. Specifically, we propose three ways to construct negative samples, including output-level visual transformations, DSL-level rule inversion, and task-specific rule editing. The resulting negative samples provide informative near-miss alternatives while keeping the observed demonstrations unchanged. Experimental results across multiple ARC-like benchmarks show that \textsc{DiARC} consistently improves performance over baseline models. The code is released at https://github.com/szu-tera/DiARC.