SemaTune: 대규모 언어 모델을 활용한 의미 기반 실시간 운영체제 최적화

SemaTune: Semantic-Aware Online OS Tuning with Large Language Models

실시간 운영체제(OS) 최적화는 장기간 실행되는 서비스의 성능을 향상시킬 수 있지만, 기존 제어 시스템은 실제 호스트 환경에 제대로 맞춰지지 않는 경우가 많습니다. 이러한 시스템들은 스케줄러, 전력, 메모리, I/O 제어 등을 블랙박스 변수로 취급하고, 단일 지표를 기반으로 최적화를 수행합니다. 이러한 방식은 제어 변수 간의 상호작용을 고려하지 못하고, 애플리케이션 메트릭이 없을 때 제대로 작동하지 않으며, 잘못된 설정으로 인해 서비스가 저하된 상태로 장기간 유지될 수 있습니다. 본 논문에서는 대규모 언어 모델(LLM)의 지침을 활용하여 안정적인 상태의 OS 최적화를 수행하는 호스트 측 프레임워크인 SemaTune을 제시합니다. SemaTune은 제어 변수 스키마, 텔레메트리 데이터, 현재 구성, 최근의 액션-반응 기록, 그리고 과거 실행 기록을 결합하여 의사 결정에 필요한 정보를 제공합니다. 빠른 루프는 낮은 지연 시간으로 업데이트를 제안하고, 느린 루프는 주기적으로 검색 전략을 수정하며, 제안된 모든 변경 사항은 커널 또는 sysctl 인터페이스에 적용되기 전에 유형 검사를 거칩니다. 이를 통해 제어 시스템은 OS 제어의 의미와 간접적인 성능 지표에 대해 추론할 수 있으며, 동시에 모델의 비용, 지연 시간, 그리고 권한을 제한할 수 있습니다. SemaTune은 다섯 가지 벤치마크 스위트에서 13개의 실제 워크로드에 대해 최대 41개의 Linux 파라미터를 조정하는 방식으로 평가되었습니다. 실험 결과, SemaTune은 기본 설정보다 안정적인 성능을 72.5% 향상시키고, 가장 강력한 LLM 기반이 아닌 기준 모델보다 153.3% 향상된 성능을 보였습니다. 30개의 윈도우 세션은 약 0.20달러의 모델 호출 비용이 발생했습니다. SemaTune은 호스트 수준의 메트릭만 사용하면서도, 직접적인 애플리케이션 목표를 가진 기준 모델보다 93.7% 더 높은 성능을 보였으며, 구조에 대한 이해 없이 탐색하는 방식에서 발생하는 심각한 성능 저하 문제를 방지했습니다.

Online OS tuning can improve long-running services, but existing controllers are poorly matched to live hosts. They treat scheduler, power, memory, and I/O controls as black-box variables and optimize a scalar reward. This view ignores cross-knob policy structure, breaks down when application metrics are unavailable, and can send a running service into degraded regions that persist after the bad setting is removed. We present SemaTune, a host-side framework for steady-state OS tuning with bounded language-model guidance. SemaTune turns knob schemas, telemetry, current configuration, recent action--response history, and retrieved prior runs into a compact decision context. A fast loop proposes low-latency updates, a slower loop periodically revises the search strategy, and every proposed change passes through typed validation before reaching kernel or sysctl interfaces. This lets the controller reason about OS-control meaning and indirect performance signals while keeping model cost, latency, and authority constrained. We evaluate SemaTune on 13 live workloads from five benchmark suites while tuning up to 41 Linux parameters. Across the suite, SemaTune improves stable-phase performance by 72.5\% over default settings and by 153.3\% relative to the strongest non-LLM baseline. A 30-window session costs about \$0.20 in model calls. With only host-level metrics, SemaTune still outperforms baselines given direct application objectives by 93.7 percentage points, while avoiding severe degraded regions reached by structure-blind exploration.