의도성은 설계 결정이다: 책임 있는 AI 시스템을 위한 기능적 의도성 측정

Intentionality is a Design Decision: Measuring Functional Intentionality for Accountable AI Systems

AI 시스템이 자율적이고 목표 지향적인 행동을 하며 장기적인 관점을 갖추게 됨에 따라, 사용자는 거버넌스와 책임 확보를 위해 시스템이 얼마나 의도적인 행위자처럼 작동하는지 표준화된 방식으로 파악할 수 없습니다. 본 논문에서는 의도성을 의식으로 정의하는 것이 아니라, 목적, 예측, 의지, 시간적 약속, 일관성과 같은 특징을 가진 행동 프로필로 정의합니다. 이러한 특징은 법적 및 철학적 맥락에서 의도를 추론하는 데 오랫동안 사용되어 왔습니다. 이러한 속성은 설계에 따라 달라지며, 메모리 지속성, 계획 깊이, 도구 자율성과 같은 아키텍처 선택이 시스템이 얼마나 조직적인 목표 추구를 보이는지 결정합니다. 의도성이 설계에 따라 달라진다면, 원칙적으로 제어할 수 있습니다. 그러나 제어에는 측정이 필요합니다. 본 연구에서는 다섯 가지 관찰 가능한 차원에 걸쳐 의도적인 행동을 정량화하는 다차원 프레임워크인 기능적 의도성 테스트(FIT)를 소개하고, 이러한 요소를 도출하고 평가하기 위한 체계적인 평가 프로토콜인 FIT-Eval을 제안합니다. 인간의 자율성이 감소하면 효율성이 향상될 수 있지만, 의도성이 높아질수록 책임에 대한 위험도 커집니다. FIT는 의도성을 해석 가능한 수준으로 변환하여, 점점 더 자율적인 시스템에서 적절한 감독과 신중한 자율성 조정을 가능하게 합니다.

As AI systems increasingly exhibit autonomous, goal-directed, and long-horizon behavior, users lack a standardized way to detect the degree to which a system functions like an intentional actor for governance and accountability purposes. This position paper defines intentionality not as consciousness, but as a behavioral profile characterized by purpose, foresight, volition, temporal commitment, and coherence - criteria long used in legal and philosophical contexts to infer intent. These properties are design-contingent: architectural choices such as memory persistence, planning depth, and tool autonomy shape the degree to which systems exhibit organized goal pursuit. If intentionality is design-contingent, it is in principle controllable. Yet control requires measurement. We introduce the Functional Intentionality Test (FIT), a multidimensional framework that quantifies intentional-like behavior across five observable dimensions, and propose FIT-Eval, a structured evaluation protocol for eliciting and scoring them. While reduced human agency can increase efficiency, rising intentional capacity heightens accountability risks. By translating intentionality into interpretable levels, FIT enables proportionate oversight and deliberate autonomy calibration in increasingly agentic systems.