다중 작업 표현 학습을 통한 LLM 생성 코드의 가독성 향상 연구

Towards the Readability of LLM-Generated Codes through Multitask Representation Engineering

코드 품질의 핵심 지표는 정확성과 가독성으로, 각각 기능적 충실성과 이해 용이성을 보장합니다. 대부분의 기존 연구에서는 대규모 언어 모델(LLM)이 생성한 코드의 정확성을 개선하는 데 초점을 맞추고 있지만, 가독성은 상대적으로 간과되어 왔습니다. 목표 지향적인 제어를 통해 가독성을 향상시키는 것은 주관적인 특성으로 인해 어렵습니다. 본 논문에서는 데이터 의존성이 낮고 계산 비용이 저렴한 특징을 가진 표현 학습(RepE)을 목표 제어 방법으로 활용합니다. 기존의 RepE 연구는 주로 단일 작업에 대한 목표 지향적 제어에 집중해 왔지만, 코드 가독성을 향상시키려면 여러 작업에 걸친 제어가 필요합니다. 따라서 본 논문에서는 다중 작업 RepE 프레임워크를 제안하고, 다중 작업 제어 방법이 코드 가독성과 정확성 간의 균형에 미치는 영향을 이론적으로 분석합니다. 또한, 이를 뒷받침하는 다양한 실험 결과를 제시합니다. 관련 구현체는 오픈 소스로 제공되며 요청 시 이용 가능합니다.

Correctness and readability are key measures of code quality, respectively ensuring functional fidelity and ease of comprehension. While most existing research focuses on improving the correctness of large language models~(LLMs) generated codes, readability remains under-addressed. Enhancing readability through targeted control is challenging due to its subjective nature. In this article, we employ representation engineering~(RepE) as the targeted control method given its characteristics of low data dependency and low computational cost. Prior work on RepE has primarily focused on the targeted control for a single task, but improving the code readability requires the control across multiple tasks. Accordingly we proposes the multitask RepE framework and theoretically discuss the impact of the multitask steering method on the tradeoff between the code readability and correctness. We further provide comprehensive experiments in support. All the relevant implementations are open-source and available upon request.