Agora: LLM 에이전트를 활용한 프로덕션 수준 합의 프로토콜의 자율적인 버그 탐지

Agora: Toward Autonomous Bug Detection in Production-Level Consensus Protocols with LLM Agents

분산 시스템 및 블록체인의 핵심인 합의 프로토콜에서 구현상의 버그는 데이터 손상 및 금전적 손실을 초래할 수 있습니다. LLM 기반 접근 방식은 코드 분석에 유망한 결과를 보여주지만, 여러 실행 단계를 거치는 복잡한 상태 의존적인 동작과 관련된 심층적인 프로토콜 수준의 논리적 오류를 해결하는 데 어려움을 겪습니다. 본 연구에서는 전문 분야 지식을 활용한 다중 에이전트 프레임워크인 Agora를 제시합니다. Agora는 LLM의 기능을 활용하여 체계적인 프로토콜 검증을 위한 가설 기반 테스트를 통합합니다. Agora는 특수하게 설계된 에이전트들이 협력하여 프로토콜 상태 공간을 탐색하고, 도메인별 제약 조건을 사용하여 공격 시나리오를 생성하며, 반복적인 개선을 통해 결과를 검증합니다. 이러한 명시적인 역할 분담은 단일 함수 코드 분석을 넘어 전역 프로토콜 불변식을 추론할 수 있도록 합니다. Agora는 최첨단 LLM 4개를 사용하여 Raft, EPaxos, HotStuff, BullShark의 네 가지 합의 구현체를 평가했습니다. Agora는 안전 속성을 위반하는 15개의 이전에 알려지지 않은 프로토콜 수준 논리적 오류를 발견했으며, 기존의 LLM 기반 에이전트는 이러한 프로토콜 수준 논리적 오류를 탐지하지 못했습니다. 본 연구 결과는 복잡한 프로토콜에서 심층적인 논리적 오류를 탐지하는 데 도메인 지식을 활용한 다중 에이전트 협업이 필수적임을 보여줍니다.

Consensus protocols form the backbone of distributed systems and blockchains, where implementation bugs can cause data corruption and financial losses. While LLM-based approaches show promise in code analysis, they struggle with deep protocol-level logic bugs involving complex state-dependent behaviors across multiple execution stages. We present Agora, a domain-aware multi-agent framework that integrates hypothesis-driven testing with LLM capabilities for systematic protocol verification. Agora employs specialized agents that collaboratively explore protocol state spaces, synthesize attack scenarios using domain-specific constraints, and validate findings through iterative refinement. This explicit role separation enables reasoning about global protocol invariants beyond single-function code analysis. We evaluate Agora on four consensus implementations (Raft, EPaxos, HotStuff, BullShark) using four state-of-the-art LLMs. Agora discovers 15 previously unknown protocol-level logic bugs that violate safety properties, while existing LLM-based agents fail to detect any such protocol-level logic bugs. Our results demonstrate that domain-aware multi-agent collaboration is essential for detecting deep logic bugs in complex protocols.