LLM을 사용하여 터미널 사용자 인터페이스를 테스트할 수 있는가?

Can LLMs Test Terminal User Interfaces?

터미널 사용자 인터페이스(TUI)는 GUI의 상태 기반, 화면 지향적인 동작과 터미널 배포 방식을 결합하며, 현재 개발 도구에서 흔히 사용됩니다. 하지만 TUI에 대한 전용 테스트 방법론은 부족합니다. 본 연구에서는 197개의 실제 TUI 애플리케이션을 조사한 결과, 테스트 코드 중 12%만이 인터페이스를 실제로 테스트하고, 그중 45%는 입력값을 전혀 보내지 않고 정적인 프레임을 확인하는 것으로 나타났습니다. 우리는 이러한 애플리케이션들을 ratatui/Rust, bubbletea/Go, textual/Python, ink/TypeScript로 구성된 헤드리스 벤치마크 환경으로 변환하고, 각 애플리케이션을 계측된 Docker 이미지 형태로 패키징했습니다. 안정적인 경우 라인 및 위젯 커버리지, 렌더링된 터미널 상태, 그리고 오류 발생 여부를 기록했습니다. 동일한 시간 제약 조건 하에서, 우리는 네 개의 최첨단 LLM 모델과 무작위 탐색 방법을 비교했습니다. 어떤 모델도 압도적으로 우수한 성능을 보이지 않았습니다. 무작위 탐색은 강력한 기준선이지만, 높은 처리량 덕분에 오류 발생 가능성이 더 높았습니다. LLM 가이드는 상호 작용당 효율성이 뛰어나며 입력값에 의해 제한되는 오류를 독특하게 발견합니다. 자동으로 시작 입력을 생성하는 것이 가장 큰 실질적인 이점을 제공하며, 그렇지 않으면 시작되지 않을 수 있는 애플리케이션을 실행할 수 있게 합니다. 라인 커버리지는 오류 발견 능력을 제대로 예측하지 못하며, 이는 테스트 효과성을 나타내는 지표로서의 약점을 보여줍니다. 자동화된 TUI 테스팅은 가능하지만 아직 해결해야 할 과제가 많으며, 모델 선택보다 솔직한 기준선이 더 중요합니다. 본 연구에서 개발한 커버리지 도구 'tuicov'는 https://github.com/tui-testing/tuicov 에서, 테스트 프레임워크 'tuibot'은 https://github.com/tui-testing/tuibot 에서 확인할 수 있습니다.

Terminal User Interfaces (TUIs) combine the stateful, screen-oriented behaviour of GUIs with terminal deployment and are now common in developer tools. Yet they lack a dedicated testing methodology. We survey 197 real-world TUI applications: only 12% of test code exercises the interface, and 45% of those tests never send input, checking a static frame instead. We turn these applications into a headless benchmark spanning ratatui/Rust, bubbletea/Go, textual/Python, and ink/TypeScript, packaging each as an instrumented Docker image. We record line and widget coverage where reliable, rendered terminal states, and crashes. Under equal wall-clock budgets, we compare four frontier LLMs with random exploration. No model dominates. Random is a strong time-budgeted baseline, but its crash advantage comes from higher throughput: per interaction, LLM guidance is more efficient and uniquely reaches input-gated faults. Automatically deriving launch inputs yields the largest practical gain, enabling applications that otherwise never start. Line coverage poorly predicts crash discovery, weakening it as a proxy for test effectiveness. Automated TUI testing is feasible but far from solved, and honest baselines matter more than model choice. We release the coverage tool tuicov at https://github.com/tui-testing/tuicov and the testing framework tuibot at https://github.com/tui-testing/tuibot.