SimAB: 페르소나 기반 AI 에이전트를 활용한 A/B 테스트 시뮬레이션 시스템 - 빠른 디자인 평가를 위한 방법

SimAB: Simulating A/B Tests with Persona-Conditioned AI Agents for Rapid Design Evaluation

A/B 테스트는 디자인 결정을 검증하는 표준적인 방법이지만, 실제 사용자 트래픽에 의존하기 때문에 반복 속도가 제한되고 특정 실험은 비실용적입니다. 본 논문에서는 A/B 테스트를 빠르고 개인 정보 보호가 가능한 시뮬레이션으로 재구성하는 시스템인 SimAB를 소개합니다. SimAB는 디자인 스크린샷과 전환 목표를 입력받아 사용자 페르소나를 생성하고, 이를 기반으로 선호도를 표현하는 AI 에이전트를 배포하며, 결과를 집계하고, 그 이유를 분석합니다. 실험 전문가를 대상으로 실시한 초기 연구를 통해, 트래픽 제약이 테스트를 방해하는 시나리오를 식별했습니다. 여기에는 트래픽이 적은 페이지, 다변수 비교, 미세 최적화, 개인 정보 보호가 중요한 환경 등이 포함됩니다. SimAB의 설계는 속도, 빠른 피드백, 실용적인 이유 분석, 그리고 사용자 그룹 구체화에 중점을 둡니다. SimAB는 47개의 과거 A/B 테스트 데이터를 사용하여 평가되었으며, 67%의 전체 정확도를 달성했으며, 신뢰도가 높은 경우 83%까지 증가했습니다. 추가적인 실험 결과는 명명 및 위치 편향에 대한 강건성을 보여주며, 페르소나 사용으로 인해 정확도가 향상되는 것을 입증합니다. 실무자들의 피드백에 따르면, SimAB는 더 빠른 평가 주기를 지원하며, 기존 A/B 테스트로는 평가하기 어려운 디자인을 신속하게 검토할 수 있도록 돕습니다.

A/B testing is a standard method for validating design decisions, yet its reliance on real user traffic limits iteration speed and makes certain experiments impractical. We present SimAB, a system that reframes A/B testing as a fast, privacy-preserving simulation using persona-conditioned AI agents. Given design screenshots and a conversion goal, SimAB generates user personas, deploys them as agents that state their preference, aggregates results, and synthesizes rationales. Through a formative study with experimentation practitioners, we identified scenarios where traffic constraints hinder testing, including low-traffic pages, multi-variant comparisons, micro-optimizations, and privacy-sensitive contexts. Our design emphasizes speed, early feedback, actionable rationales, and audience specification. We evaluate SimAB against 47 historical A/B tests with known outcomes, achieving 67% overall accuracy, increasing to 83% for high-confidence cases. Additional experiments show robustness to naming and positional bias and demonstrate accuracy gains from personas. Practitioner feedback suggests that SimAB supports faster evaluation cycles and rapid screening of designs difficult to assess with traditional A/B tests.