LangChoiceBench: LLM에서 프로그래밍 언어 선택을 측정하고 설명하는 방법

LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs

대규모 언어 모델(LLM)은 프로젝트 수준의 코드 생성을 할 때 Python을 선호하는 경향이 있는 것으로 나타났지만, 현재 새로운 모델에 대해 이러한 현상을 체계적으로 측정할 수 있는 방법은 존재하지 않습니다. 이러한 격차를 해소하기 위해, 우리는 Python 선호도, 추천-구현 일관성 및 언어 다양성을 측정하기 위한 프로젝트 수준의 코드 생성 벤치마크인 LangChoiceBench를 소개합니다. LangChoiceBench는 Python이 종종 부적절한 선택인 7개의 소프트웨어 영역에 걸쳐 28개의 프로젝트를 포함하고 있습니다. 우리는 25개의 다양한 LLM을 평가했으며, 그 결과 Python이 여전히 과도하게 선택되는 경향이 있으며, 추천-구현 일관성이 낮고, 작은 오픈 소스 모델은 일반적으로 더 강한 Python 선호도를 보이고 언어 다양성이 낮은 것을 확인했습니다. 또한 9,826개의 추론 과정을 분석한 결과, 대부분의 Python 선택은 명시적인 프로젝트 요구 사항에 대한 고려보다는 자동적이거나 용이성에 의해 주도되는 것으로 나타났습니다. 작은 규모이지만 중요한 사례에서는 모델이 Python을 선택하기 위한 허구적인 근거를 제시하거나, 자체 추론에서 선택한 언어와 모순되는 코드를 생성하는 경우가 있습니다 (이를 '가상 증거' 오류라고 합니다).

Large language models (LLMs) have been shown to exhibit strong Python preferences when generating project-level code, but there is currently no systematic way to measure this behaviour across new models. To bridge this gap, we introduce LangChoiceBench, a project-level code-generation benchmark for measuring Python preference, recommendation-implementation consistency, and language diversity. LangChoiceBench covers 28 projects across seven software areas where Python is often a poor default. We evaluate 25 diverse LLMs and find that Python remains heavily over-selected, recommendation-implementation consistency is low, and smaller open-weight models generally show stronger Python preference and lower language diversity. We further analyse 9,826 reasoning traces and find that most Python choices are automatic or driven primarily by ease, rather than explicit consideration of project requirements. In a smaller but important set of cases, models fabricate contextual support for choosing Python - a failure mode we call phantom evidence - or produce code that contradicts the language selected in their own reasoning.