수정인가, 재해결인가? 다중 LLM 파이프라인에서 얻는 이점을 세분화 분석

Revision or Re-Solving? Decomposing Second-Pass Gains in Multi-LLM Pipelines

여러 모델을 사용하는 수정 파이프라인은, 첫 번째 모델이 생성한 초안을 두 번째 모델이 검토하고 개선하여 성능 향상을 가져온다고 널리 알려져 있습니다. 본 연구는 이러한 성능 향상이 실제로 오류 수정에서 비롯되는지에 대한 가설을 검증하기 위해, 통제된 실험을 통해 세 가지 요소, 즉 재해결(re-solving), 구조 제공(scaffold), 내용(content)으로 분해하여 두 번째 단계에서 얻는 이점을 분석합니다. 지식 기반 객관식 문제(MCQ)와 경쟁 프로그래밍을 포함하는 세 가지 벤치마크에서 모델 쌍을 사용하여 이 실험 설계를 평가했습니다. 연구 결과는 다중 LLM 수정의 이점이 획일적이지 않으며, 작업 구조, 초안 품질, 그리고 초안 정보의 유형에 따라 달라진다는 것을 보여줍니다. 객관식 문제에서는 정답의 범위가 제한적이고 초안이 구조적인 정보를 거의 제공하지 않기 때문에, 대부분의 성능 향상은 더 강력한 모델의 재해결 능력에서 비롯되며, 약한 초안을 수정하는 것보다 직접적으로 더 강력한 모델에 질의를 보내는 것이 더 효과적일 수 있습니다. 그러나 코드 생성 작업에서는 두 단계 프롬프트 방식이 여전히 유용합니다. 왜냐하면 의미적으로 아무런 내용이 없는 초안이라도 상당한 구조적인 정보를 제공할 수 있으며, 반대로 약한 초안의 내용은 오히려 성능 저하를 야기할 수 있기 때문입니다. 또한, 모델의 역할을 바꾸어 실험한 결과, 강력한 초안은 약한 모델의 성능 향상에 크게 기여하는 것으로 나타났습니다. 종합적으로, 본 연구는 다중 LLM 수정의 유용성이 작업 구조와 초안 품질에 의해 동적으로 제한된다는 것을 보여주며, 따라서 획일적인 수정 전략보다는 보다 구체적인 파이프라인 설계가 필요하다는 점을 시사합니다.

Multi-LLM revision pipelines, in which a second model reviews and improves a draft produced by a first, are widely assumed to derive their gains from genuine error correction. We question this assumption with a controlled decomposition experiment that uses four matched conditions to separate second-pass gains into three additive components: re-solving, scaffold, and content. We evaluate this design across two model pairs on three benchmarks spanning knowledge-intensive MCQ and competitive programming. Our results show that the gains of multi-LLM revision are not monolithic, but depend on task structure, draft quality, and the type of draft information. On MCQ tasks, where the answer space is constrained and drafts provide little structural guidance, most gains are consistent with stronger-model re-solving, and directly routing queries to the stronger model can be more effective than revising a weak draft. On code generation tasks, however, two-stage prompting remains useful because even semantically null drafts can provide substantial structural scaffolding, while weak draft content can be harmful. Finally, role-reversed experiments show that strong drafts clearly benefit weak reviewers. Ultimately, our findings demonstrate that the utility of multi-LLM revision is dynamically bottlenecked by task structure and draft quality, necessitating more targeted pipeline designs rather than blanket revision strategies.