InfiCoEvalChain: 협력적 LLM 평가를 위한 블록체인 기반 탈중앙화 프레임워크

InfiCoEvalChain: A Blockchain-Based Decentralized Framework for Collaborative LLM Evaluation

대규모 언어 모델(LLM)의 급격한 발전은 점점 더 신뢰할 수 있는 평가를 요구하지만, 현재의 중앙화된 평가 방식은 불투명성, 과적합, 하드웨어로 인한 변동성 문제를 겪고 있습니다. 본 논문의 경험적 분석은 기존 평가 방식에서 우려스러운 불일치를 드러냈습니다. 단일 모델을 HumanEval에서 10회 반복 실행했을 때의 표준 편차(1.67)가 공식 리더보드 상위 10개 모델 간의 성능 차이(0.91)를 초과하여, 현재의 순위를 통계적으로 불안정하게 만듭니다. 이러한 불안정성을 완화하기 위해, 우리는 이기종 컴퓨팅 노드에 걸친 대규모 벤치마킹을 통해 하드웨어 및 매개변수의 다양성을 확보하는 탈중앙화 평가 프레임워크를 제안합니다. 이 프레임워크는 블록체인 기반 프로토콜을 활용하여 전 세계의 참여자들이 독립적인 검증자로 활동하도록 장려하며, 견고한 보상 시스템을 통해 평가의 무결성을 보장하고 부정직한 참여를 억제합니다. 이러한 집단 검증은 평가 방식을 "중앙화된 블랙박스"에서 다자간 합의와 다양한 추론 환경이 더 안정적이고 대표성 있는 지표를 산출하는 "탈중앙화된 보증"으로 변화시킵니다. 실험 결과에 따르면, 제안된 탈중앙화 평가 프레임워크는 동일 모델에 대한 10회 실행 시 표준 편차를 0.28로 감소시켰습니다. 기존 프레임워크 대비 이러한 획기적인 개선은 모델 순위에 대해 더 높은 통계적 신뢰도를 보장합니다. 우리는 이 플랫폼을 완벽하게 구현하였으며 곧 커뮤니티에 공개할 예정입니다.

The rapid advancement of large language models (LLMs) demands increasingly reliable evaluation, yet current centralized evaluation suffers from opacity, overfitting, and hardware-induced variance. Our empirical analysis reveals an alarming inconsistency in existing evaluations: the standard deviation across ten repeated runs of a single model on HumanEval (1.67) actually exceeds the performance gap among the top-10 models on the official leaderboard (0.91), rendering current rankings statistically precarious. To mitigate these instabilities, we propose a decentralized evaluation framework that enables hardware and parameter diversity through large-scale benchmarking across heterogeneous compute nodes. By leveraging the blockchain-based protocol, the framework incentivizes global contributors to act as independent validators, using a robust reward system to ensure evaluation integrity and discourage dishonest participation. This collective verification transforms evaluation from a "centralized black box" into a "decentralized endorsement" where multi-party consensus and diverse inference environments yield a more stable, representative metric. Experimental results demonstrate that the decentralized evaluation framework reduces the standard deviation across ten runs on the same model to 0.28. This significant improvement over conventional frameworks ensures higher statistical confidence in model rankings. We have completely implemented this platform and will soon release it to the community.