RPRA: 효율적이면서도 성능이 뛰어난 추론을 위한 LLM 평가 모델 예측

RPRA: Predicting an LLM-Judge for Efficient but Performant Inference

대규모 언어 모델(LLM)은 계산 효율성(예: 파라미터 수)과 출력 품질 사이의 근본적인 상충 관계에 직면하며, 특히 스마트폰이나 노트북과 같은 계산 능력이 제한된 장치에 배포될 때 더욱 그렇습니다. 이러한 문제를 해결하는 한 가지 방법은 인간의 방식을 따라, 모델이 스스로 문제를 해결할 수 없다고 판단될 때 도움을 요청하도록 하는 것입니다. 우리는 더 작은 모델이 자체적으로 좋은 답변을 제공할 수 있다고 판단되면 해당 질문에 응답하고, 그렇지 않은 경우에는 더 큰 모델에 응답을 위임함으로써 이러한 상충 관계를 극복할 수 있습니다. 본 논문에서는 모델이 답변을 제공하기 전에 LLM 평가 모델이 자신의 출력에 대해 어떻게 평가할지 예측하는 예측-답변/행동(PA) 및 추론-예측-추론-답변/행동(RPRA) 패러다임의 실현 가능성을 조사합니다. 우리는 세 가지 접근 방식을 평가했습니다. 즉, 제로샷 예측, 컨텍스트 보고서를 사용한 예측, 그리고 지도 학습 미세 조정입니다. 실험 결과, 더 큰 모델(특히 추론 모델)은 제로샷 방식으로 일반적인 LLM 평가 모델을 잘 예측하는 반면, 더 작은 모델은 미세 조정되거나 컨텍스트 보고서가 제공된 후 이러한 평가 모델을 안정적으로 잘 예측할 수 있습니다. 전반적으로, 두 가지 접근 방식 모두 더 작은 모델의 예측 정확도를 크게 향상시킬 수 있으며, 보고서와 미세 조정을 통해 데이터 세트에 따라 최대 55% 및 52%의 평균 성능 향상을 달성했습니다. 이러한 결과는 모델이 자신의 성능 한계를 예측하는 방법을 학습할 수 있음을 시사하며, 이는 더욱 효율적이고 자기 인식적인 AI 시스템의 개발을 위한 길을 열어줍니다.

Large language models (LLMs) face a fundamental trade-off between computational efficiency (e.g., number of parameters) and output quality, especially when deployed on computationally limited devices such as phones or laptops. One way to address this challenge is by following the example of humans and have models ask for help when they believe they are incapable of solving a problem on their own; we can overcome this trade-off by allowing smaller models to respond to queries when they believe they can provide good responses, and deferring to larger models when they do not believe they can. To this end, in this paper, we investigate the viability of Predict-Answer/Act (PA) and Reason-Predict-Reason-Answer/Act (RPRA) paradigms where models predict -- prior to responding -- how an LLM judge would score their output. We evaluate three approaches: zero-shot prediction, prediction using an in-context report card, and supervised fine-tuning. Our results show that larger models (particularly reasoning models) perform well when predicting generic LLM judges zero-shot, while smaller models can reliably predict such judges well after being fine-tuned or provided with an in-context report card. Altogether, both approaches can substantially improve the prediction accuracy of smaller models, with report cards and fine-tuning achieving mean improvements of up to 55% and 52% across datasets, respectively. These findings suggest that models can learn to predict their own performance limitations, paving the way for more efficient and self-aware AI systems.