OmniSapiens: 이질성을 고려한 상대적 정책 최적화를 통한 사회적 행동 처리 파운데이션 모델

OmniSapiens: A Foundation Model for Social Behavior Processing via Heterogeneity-Aware Relative Policy Optimization

사회적으로 지능적인 AI를 개발하기 위해 기존 접근 방식들은 일반적으로 인간 행동의 차원(예: 정서적, 인지적 또는 사회적 속성)을 개별적으로 모델링한다. 이러한 방식은 유용하기는 하지만, 작업별 모델링은 종종 학습 비용을 증가시키고 다양한 행동 설정 전반에 걸친 일반화를 제한한다. 최근의 추론 강화 학습(RL) 방법들은 다중 행동 작업에 걸쳐 단일 통합 모델을 학습하는 것을 용이하게 하지만, 서로 다른 이질적인 행동 데이터에 대한 학습을 명시적으로 다루지는 않는다. 이러한 문제를 해결하기 위해, 우리는 이질적인 작업과 샘플 간의 학습 균형을 맞추는 RL 방법인 HARPO(Heterogeneity-Aware Relative Policy Optimization)를 소개한다. 이는 정책 최적화 과정에서 특정 단일 작업이나 샘플이 과도한 영향력을 미치지 않도록 어드밴티지(advantage)를 조절함으로써 달성된다. 우리는 HARPO를 사용하여 사회적 행동 처리를 위한 파운데이션 모델인 Omnisapiens-7B 2.0을 개발하고 공개한다. 기존 행동 파운데이션 모델과 비교하여, Omnisapiens-7B 2.0은 멀티태스크 및 헬드아웃(held-out) 설정에서 각각 최대 +16.85% 및 +9.37%의 성능 향상을 기록하며 행동 작업 전반에서 가장 강력한 성능을 달성하는 동시에, 더 명시적이고 견고한 추론 과정을 생성한다. 또한 우리는 최신 RL 방법들과 비교하여 HARPO를 검증하였으며, 행동 작업 전반에 걸쳐 가장 일관되게 강력한 성능을 달성함을 확인했다.

To develop socially intelligent AI, existing approaches typically model human behavioral dimensions (e.g., affective, cognitive, or social attributes) in isolation. Although useful, task-specific modeling often increases training costs and limits generalization across behavioral settings. Recent reasoning RL methods facilitate training a single unified model across multiple behavioral tasks, but do not explicitly address learning across different heterogeneous behavioral data. To address this gap, we introduce Heterogeneity-Aware Relative Policy Optimization (HARPO), an RL method that balances leaning across heterogeneous tasks and samples. This is achieved by modulating advantages to ensure that no single task or sample carries disproportionate influence during policy optimization. Using HARPO, we develop and release Omnisapiens-7B 2.0, a foundation model for social behavior processing. Relative to existing behavioral foundation models, Omnisapiens-7B 2.0 achieves the strongest performance across behavioral tasks, with gains of up to +16.85% and +9.37% on multitask and held-out settings respectively, while producing more explicit and robust reasoning traces. We also validate HARPO against recent RL methods, where it achieves the most consistently strong performance across behavioral tasks.