FLARE-AI: 인공지능 시스템의 결함 보고

FLARE-AI: Flaw Reporting for AI

배포된 인공지능(AI) 시스템에 대한 결함 보고는 시스템 오류를 식별하고 AI 안전성을 향상시키는 데 필수적입니다. 그러나 AI 보고 생태계는 단편화되어 있습니다. 결함을 발견하는 연구자들은 종종 무엇을 어디에 보고해야 할지 모르는 경우가 많고, 보고서를 받는 기관들은 거의 이러한 정보를 다른 관련 이해관계자와 공유하지 않습니다. 그 결과, 성실한 보고자들이 여러 가지 형식을 제출하면서 불필요한 노력을 반복하고, 수신자는 표준화되고 초기 분류가 가능한 정보가 부족합니다. 우리는 AI 개발자, 사이버 보안 그룹 및 AI 결함 집계 기관에서 발표한 12개의 보고 시스템을 분석하여 접근성, 범위, 정보 수집, 조정 및 엄격 책임 사례에 대한 지침 등 5가지 주요 설계 과제를 확인했습니다. 이러한 분석과 32개 조직(개발자, 보안 연구원 및 생태계 조정 그룹 포함)의 49명의 전문가로부터 받은 피드백을 바탕으로 기존 시스템과의 상호 운용성을 고려하여 설계된 오픈 소스 AI 결함 보고 시스템인 FLARE-AI를 소개합니다. FLARE-AI는 조건부 로직과 초기 분류를 통해 보고서 작성에 필요한 정보를 수집함으로써 결함 보고 생성 과정을 간소화하고, 단일 제출을 통해 표준화되고 기계 판독 가능한 보고서를 여러 개발자, 조정 그룹 및 사고 기록 시스템에 선택적으로 배포할 수 있도록 지원합니다. FLARE-AI는 AI 결함 보고의 장벽을 낮추고 이해관계자 간의 상호 운용성을 향상시켜, AI 생태계 전반의 정보 공유를 촉진하고 문제 해결 속도를 높입니다.

Flaw reporting for deployed AI systems is fundamental to identifying system failures and improving AI safety. Yet the AI reporting ecosystem is fragmented: researchers who identify flaws often do not know what or where to report, and groups who receive reports rarely share them with other relevant stakeholders. As a result, good-faith reporters duplicate effort by submitting many different forms, and recipients lack standardized, triage-ready information. We audit 12 reporting systems published by AI developers, cybersecurity groups, and AI flaw aggregators, identifying five recurring design challenges spanning discoverability, scope, information collection, coordination, and guidance for strict-liability cases. Building on this analysis and feedback from 49 experts across 32 organizations representing developers, security researchers, and ecosystem coordinators, we introduce FLARE-AI, an open-source AI flaw reporting system designed for interoperability with existing systems. FLARE-AI streamlines flaw report creation by collecting triage-relevant information through conditional logic and early classification, then enables optional dissemination of standardized, machine-readable reports to multiple developers, coordinators, and incident registries from a single submission. By lowering barriers to reporting AI flaws and improving interoperability across stakeholders, FLARE-AI helps break down silos and accelerate remediation across the AI ecosystem.