불확실성 정량화 방법의 자동 설계에 대한 진화적 탐색

Evolutionary Search for Automated Design of Uncertainty Quantification Methods

대규모 언어 모델(LLM)을 위한 불확실성 정량화(UQ) 방법은 주로 도메인 지식과 휴리스틱에 기반하여 수동으로 설계되므로, 확장성과 일반성이 제한됩니다. 본 연구에서는 LLM 기반의 진화적 탐색을 사용하여, 파이썬 프로그램으로 표현되는 비지도 UQ 방법을 자동으로 발견하는 방법을 제안합니다. 원자 주장 검증 작업에서, 개발된 방법들은 강력한 수동 설계 기준 모델보다 우수한 성능을 보이며, 9개의 데이터 세트에서 최대 6.7%의 상대적인 ROC-AUC 개선 효과를 달성했습니다. 또한, 데이터 분포가 다른 환경에서도 안정적인 성능을 유지합니다. 질적 분석 결과, 다양한 LLM들이 질적으로 구별되는 진화 전략을 사용합니다. Claude 모델은 일관적으로 높은 특징 수를 가진 선형 추정기를 설계하는 반면, Gpt-oss-120B는 더 간단하고 해석 가능한 위치 가중치 체계를 선호합니다. 흥미롭게도, Sonnet 4.5와 Opus 4.5만이 방법의 복잡성을 증가시켜 성능을 향상시키는 데 효과적입니다. Opus 4.6는 이전 버전인 Opus 4.5에 비해 예상치 못한 성능 저하를 보입니다. 전반적으로, 본 연구 결과는 LLM 기반의 진화적 탐색이 자동화되고 해석 가능한 환각 탐지기 설계에 유망한 패러다임임을 시사합니다.

Uncertainty quantification (UQ) methods for large language models are predominantly designed by hand based on domain knowledge and heuristics, limiting their scalability and generality. We apply LLM-powered evolutionary search to automatically discover unsupervised UQ methods represented as Python programs. On the task of atomic claim verification, our evolved methods outperform strong manually-designed baselines, achieving up to 6.7% relative ROC-AUC improvement across 9 datasets while generalizing robustly out-of-distribution. Qualitative analysis reveals that different LLMs employ qualitatively distinct evolutionary strategies: Claude models consistently design high-feature-count linear estimators, while Gpt-oss-120B gravitates toward simpler and more interpretable positional weighting schemes. Surprisingly, only Sonnet 4.5 and Opus 4.5 reliably leverage increased method complexity to improve performance -- Opus 4.6 shows an unexpected regression relative to its predecessor. Overall, our results indicate that LLM-powered evolutionary search is a promising paradigm for automated, interpretable hallucination detector design.