Social-R1: LLM에서 인간과 유사한 사회적 추론을 향하여

Social-R1: Towards Human-like Social Reasoning in LLMs

대규모 언어 모델은 다양한 분야에서 놀라운 능력을 보여주지만, 사회적 지능 - 사회적 단서를 인식하고, 정신 상태를 추론하며, 적절한 응답을 생성하는 능력 - 은 여전히 중요한 과제이며, 특히 효과적인 인간-AI 협력을 가능하게 하고 인간의 필요에 진정으로 부합하는 AI를 개발하는 데 필수적입니다. 현재 모델들은 종종 진정한 사회적 추론보다는 피상적인 패턴에 의존하는 경향이 있습니다. 우리는 인간과 유사한 사회적 지능을 함양하기 위해서는, 단순한 해결책을 피하도록 설계된 어려운 사례를 활용한 훈련이 필요하다고 주장합니다. 이를 위해, 사회적 추론을 위한 어려운 훈련 예제를 제공하도록 설계된 적대적 벤치마크인 ToMBench-Hard를 소개합니다. 이를 바탕으로, 다차원 보상을 통해 모델의 추론을 인간의 인지 과정과 일치시키는 강화 학습 프레임워크인 Social-R1을 제안합니다. Social-R1은 결과 기반 강화 학습과 달리, 모델의 전체 추론 과정을 감독하여 구조적 일관성, 논리적 정확성 및 정보 밀도를 강화합니다. 결과는 우리의 접근 방식이 40억 개의 파라미터를 가진 모델이 훨씬 더 큰 모델들을 능가하고, 8가지 다양한 벤치마크에서 강력하게 일반화될 수 있음을 보여줍니다. 이러한 결과는 궤적 수준의 일관성을 갖춘 어려운 훈련 사례가 효율적이고 신뢰할 수 있는 사회적 지능을 향한 경로를 제공한다는 것을 시사합니다.

While large language models demonstrate remarkable capabilities across numerous domains, social intelligence - the capacity to perceive social cues, infer mental states, and generate appropriate responses - remains a critical challenge, particularly for enabling effective human-AI collaboration and developing AI that truly serves human needs. Current models often rely on superficial patterns rather than genuine social reasoning. We argue that cultivating human-like social intelligence requires training with challenging cases that resist shortcut solutions. To this end, we introduce ToMBench-Hard, an adversarial benchmark designed to provide hard training examples for social reasoning. Building on this, we propose Social-R1, a reinforcement learning framework that aligns model reasoning with human cognition through multi-dimensional rewards. Unlike outcome-based RL, Social-R1 supervises the entire reasoning process, enforcing structural alignment, logical integrity, and information density. Results show that our approach enables a 4B parameter model to surpass much larger counterparts and generalize robustly across eight diverse benchmarks. These findings demonstrate that challenging training cases with trajectory-level alignment offer a path toward efficient and reliable social intelligence.