LLM 추가 학습 시 Pass@k 최적화가 Pass@1 성능 저하를 유발하는 이유: 프롬프트 간섭

Why Pass@k Optimization Can Degrade Pass@1: Prompt Interference in LLM Post-training

Pass@k는 수학적 추론, 코드 생성 및 단답형 추론을 포함한 검증 가능한 대규모 언어 모델 작업의 성능을 측정하는 데 널리 사용되는 지표입니다. Pass@k는 $k$개의 독립적으로 샘플링된 솔루션 중 하나라도 검증기를 통과하면 성공으로 정의합니다. 이 다중 샘플 추론 지표는 추론 성능을 고려한 미세 조정 방법을 개발하는 데 영감을 주었으며, 이러한 방법은 Pass@$k$를 직접적으로 최적화합니다. 그러나 기존 연구에서는 Pass@$k$는 향상되지만 Pass@1은 저하되는 반복적인 트레이드오프가 보고되었습니다. 이 트레이드오프는 Pass@1이 지연 시간 및 비용 제약, 불완전한 검증기 커버리지, 그리고 안정적인 단일 샷 백업의 필요성으로 인해 종종 중요한 운영 제약 조건으로 남아 있기 때문에 실제로 중요합니다. 본 연구에서는 이 트레이드오프의 원인을 분석하고, 프롬프트 간섭으로 인해 발생하는 경사 충돌로 인해 Pass@k 정책 최적화가 Pass@1을 감소시킬 수 있는 조건을 이론적으로 설명합니다. Pass@$k$ 정책 경사는 Pass@$k$ 최적화가 암묵적으로 성공률이 낮은 프롬프트에 가중치를 부여하기 때문에 Pass@1 경사와 충돌할 수 있습니다. 이러한 프롬프트가 우리가 '부정적 간섭'이라고 부르는 프롬프트인 경우, 이 프롬프트의 가중치 증가는 Pass@$k$ 업데이트 방향을 Pass@1 방향에서 멀어지게 할 수 있습니다. 본 연구는 검증 가능한 수학적 추론 작업에 대한 대규모 언어 모델 실험을 통해 이러한 이론적 결과를 보여줍니다.

Pass@k is a widely used performance metric for verifiable large language model tasks, including mathematical reasoning, code generation, and short-answer reasoning. It defines success if any of $k$ independently sampled solutions passes a verifier. This multi-sample inference metric has motivated inference-aware fine-tuning methods that directly optimize pass@$k$. However, prior work reports a recurring trade-off: pass@k improves while pass@1 degrades under such methods. This trade-off is practically important because pass@1 often remains a hard operational constraint due to latency and cost budgets, imperfect verifier coverage, and the need for a reliable single-shot fallback. We study the origin of this trade-off and provide a theoretical characterization of when pass@k policy optimization can reduce pass@1 through gradient conflict induced by prompt interference. We show that pass@$k$ policy gradients can conflict with pass@1 gradients because pass@$k$ optimization implicitly reweights prompts toward low-success prompts; when these prompts are what we term negatively interfering, their upweighting can rotate the pass@k update direction away from the pass@1 direction. We illustrate our theoretical findings with large language model experiments on verifiable mathematical reasoning tasks.