지식 격차 해소: 코딩 작업을 위한 추론 시점의 익숙하지 않은 프로그래밍 언어 습득

Bridging the Knowledge Void: Inference-time Acquisition of Unfamiliar Programming Languages for Coding Tasks

대규모 언어 모델(LLM)의 코딩 작업 능력은 주로 방대한 사전 훈련 데이터에 의해 결정되지만, 이 데이터는 기존에 익숙하지 않은 프로그래밍 언어에 직면했을 때 한계를 드러냅니다. 본 연구에서는 데이터 중심의 미세 조정 방식을 벗어나, 추론 시점 언어 습득(ILA, Inference-time Language Acquisition)이라는 새로운 패러다임을 탐구합니다. ILA는 LLM이 제한된 외부 자원과의 동적 상호 작용을 통해 익숙하지 않은 언어를 습득하는 방식입니다. 본 논문에서는 ILA-agent라는 일반적인 ILA 프레임워크를 제안합니다. ILA-agent는 LLM에 행동 원시 기능을 제공하여, 공식 문서 및 실행 환경과의 체계적인 상호 작용을 통해 LLM이 점진적으로 언어 지식을 탐색, 적용 및 검증할 수 있도록 합니다. 제한된 자원 환경에서의 엄격한 평가를 위해, 새로운 정적 타입 언어인 Cangjie를 기반으로 한 멀티 태스크 벤치마크인 Cangjie-bench를 구축했습니다. 우리는 ILA-agent를 Cangjie에 적용하고, 코드 생성, 번역 및 프로그램 수정 작업에서 성능을 평가했습니다. 다양한 LLM을 사용한 실험 결과, ILA-agent가 기존의 검색 증강 기반 모델보다 훨씬 우수한 성능을 보였습니다. 또한, 에이전트의 동작 경로 분석을 통해 나타나는 행동 패턴을 파악하고, 여전히 존재하는 성능 격차를 분석했습니다.

The proficiency of Large Language Models (LLMs) in coding tasks is often a reflection of their extensive pre-training corpora, which typically collapses when confronted with previously unfamiliar programming languages. Departing from data-intensive finetuning, we investigate the paradigm of Inference-time Language Acquisition (ILA), where an LLM masters an unfamiliar language through dynamic interaction with limited external resources. In this paper, we propose ILA-agent, a general ILA framework that equips LLMs with a set of behavioral primitives. By modeling essential human-like behaviors as a suite of tools, ILA-agent enables LLMs to incrementally explore, apply, and verify language knowledge through structured interactions with the official documentation and execution environment. To provide a rigorous evaluation in a low-resource setting, we construct Cangjie-bench, a multi-task benchmark based on the novel statically-typed language Cangjie. We instantiate ILA-agent for Cangjie and evaluate its performance across code generation, translation, and program repair tasks. Results using diverse LLMs demonstrate that ILA-agent significantly outperforms retrieval-augmented baselines. Further analysis of agent trajectories characterizes the emergent behavior patterns while highlighting persisting performance gaps.