행동경제학적 실현 가능성 집합: 인공지능 의사결정 지원 시스템의 가치 정렬 제약

Behavioural feasible set: Value alignment constraints on AI decision support

조직이 의사결정 지원을 위해 상업용 인공지능 시스템을 도입할 때, 벤더가 내재시킨 가치 판단이 투명하지 않거나 재협상이 불가능한 상태로 그대로 상속됩니다. 중요한 문제는 인공지능이 의사결정을 지원할 수 있는지 여부가 아니라, 벤더가 시스템을 어떻게 구성했느냐에 따라 시스템이 실제로 어떤 권장 사항을 생성할 수 있는지를 파악하는 것입니다. 본 연구에서는 이를 '행동경제학적 실현 가능성 집합'으로 공식화하고, 벤더가 강제하는 가치 정렬 제약 하에서 도달 가능한 권장 사항의 범위를 정의하며, 조직의 요구 사항이 시스템의 유연성을 초과하는 경우를 진단할 수 있는 기준을 제시합니다. 이분법적 의사결정 시나리오와 다중 이해관계자 순위 결정 과제를 활용한 시나리오 기반 실험을 통해, 가치 정렬이 이 실현 가능성 집합을 실질적으로 축소시킨다는 것을 보여줍니다. 가치 정렬 전후의 오픈 웨이트 모델을 비교한 결과, 가치 정렬은 시스템이 정당한 상황적 압력 하에서도 권장 사항을 변경하는 능력을 크게 감소시킨다는 것을 확인했습니다. 상용 모델에서도 유사하거나 더 큰 경직성을 나타냅니다. 다중 이해관계자 과제에서, 가치 정렬은 중립적인 우선순위를 무효화하는 것이 아니라, 오히려 암묵적인 이해관계자 우선순위를 변화시킵니다. 즉, 조직은 벤더가 상위 단계에서 설정한 내재된 가치 지향성을 그대로 채택하게 됩니다. 따라서 조직은 개선된 프롬프트만으로는 해결할 수 없는 거버넌스 문제를 안고 있습니다. 즉, 벤더를 선택하는 것은 어느 정도의 절충안이 여전히 협상 가능하고, 어떤 이해관계자 우선순위가 구조적으로 내재되어 있는지 부분적으로 결정하는 것입니다.

When organisations adopt commercial AI systems for decision support, they inherit value judgements embedded by vendors that are neither transparent nor renegotiable. The governance puzzle is not whether AI can support decisions but which recommendations the system can actually produce given how its vendor has configured it. I formalise this as a behavioural feasible set, the range of recommendations reachable under vendor-imposed alignment constraints, and characterise diagnostic thresholds for when organisational requirements exceed the system's flexibility. In scenario-based experiments using binary decision scenarios and multi-stakeholder ranking tasks, I show that alignment materially compresses this set. Comparing pre- and post-alignment variants of an open-weight model isolates the mechanism: alignment makes the system substantially less able to shift its recommendation even under legitimate contextual pressure. Leading commercial models exhibit comparable or greater rigidity. In multi-stakeholder tasks, alignment shifts implied stakeholder priorities rather than neutralising them, meaning organisations adopt embedded value orientations set upstream by the vendor. Organisations thus face a governance problem that better prompting cannot resolve: selecting a vendor partially determines which trade-offs remain negotiable and which stakeholder priorities are structurally embedded.