맥락 기반 다중 목표 최적화: 최첨단 AI 시스템에서 목표 재고

Contextual Multi-Objective Optimization: Rethinking Objectives in Frontier AI Systems

최첨단 AI 시스템은 코드 생성, 수학적 추론, 게임, 단위 테스트 기반 작업과 같이 명확하고 안정적이며 검증 가능한 목표를 가진 환경에서 가장 뛰어난 성능을 보입니다. 그러나 과학 지원, 장기적인 의사 결정, 고위험 자문, 개인화, 도구 사용과 같이 개방형 환경에서는 신뢰성이 떨어지는 경향이 있는데, 이는 관련 목표가 모호하거나, 맥락에 따라 달라지거나, 지연되거나, 부분적으로만 관찰될 수 있기 때문입니다. 우리는 이러한 실패의 원인이 단순히 규모나 능력의 부족이 아니라, 목표 선택의 실패라는 점을 주장합니다. 즉, 시스템은 로컬적으로 보이는 신호를 최적화하지만, 상호 작용을 지배해야 할 목표를 놓치는 것입니다. 우리는 이 문제를 '맥락 기반 다중 목표 최적화'로 정의합니다. 이 프레임워크에서 시스템은 유용성, 진실성, 안전성, 개인 정보 보호, 신뢰도, 조작 방지, 사용자 선호도, 되돌릴 수 있는 기능, 이해 관계자 영향 등과 같은 다양한 맥락 의존적 목표를 고려해야 하며, 어떤 목표가 활성화되어야 하는지, 어떤 목표가 선호도로 작용해야 하는지, 그리고 어떤 목표가 엄격하거나 준-엄격한 제약 조건으로 기능해야 하는지를 결정해야 합니다. 이러한 예시는 모든 가능한 경우를 포괄하는 분류는 아니며, 다양한 도메인과 배포 환경에 따라 다른 목표 차원과 충돌 해결 절차가 적용될 수 있습니다. 우리의 프레임워크는 AI의 동작을 후보 행동, 목표 추정치, 활성 제약 조건, 이해 관계자, 불확실성 및 충돌 해결 절차에 대한 맥락 의존적 선택 규칙으로 모델링합니다. 우리는 분해된 목표 표현, 컨텍스트-목표 라우팅, 계층적 제약 조건, 숙고적인 정책 추론, 제어된 개인화, 도구 사용 제어, 진단 평가, 감사 및 배포 후 수정에 기반한 구현 경로를 제시합니다.

Frontier AI systems perform best in settings with clear, stable, and verifiable objectives, such as code generation, mathematical reasoning, games, and unit-test-driven tasks. They remain less reliable in open-ended settings, including scientific assistance, long-horizon agents, high-stakes advice, personalization, and tool use, where the relevant objective is ambiguous, context-dependent, delayed, or only partially observable. We argue that many such failures are not merely failures of scale or capability, but failures of objective selection: the system optimizes a locally visible signal while missing which objectives should govern the interaction. We formulate this problem as \emph{contextual multi-objective optimization}. In this setting, systems must consider multiple, context-dependent objectives, such as helpfulness, truthfulness, safety, privacy, calibration, non-manipulation, user preference, reversibility, and stakeholder impact, while determining which objectives are active, which are soft preferences, and which must function as hard or quasi-hard constraints. These examples are not intended as an exhaustive taxonomy: different domains and deployment settings may activate different objective dimensions and different conflict-resolution procedures. Our framework models AI behavior as a context-dependent choice rule over candidate actions, objective estimates, active constraints, stakeholders, uncertainty, and conflict-resolution procedures. We outline an implementation pathway based on decomposed objective representations, context-to-objective routing, hierarchical constraints, deliberative policy reasoning, controlled personalization, tool-use control, diagnostic evaluation, auditing, and post-deployment revision.