LLM 에이전트에게는 어떤 입력 방식을 사용해야 할까? 음성 및 키보드 입력 변동에 대한 종합 연구

Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations

인간의 입력은 타이핑 또는 음성을 통해 언어 모델에 도달하며, 각 방식은 뚜렷한 특징을 남깁니다. 키보드는 직교 오류(orthographic noise)를 발생시키고, 음성은 기존 전사 방식에서 발생하는 불연속성과 AI 기반 받아쓰기 도구의 재구성으로 인한 영향을 받습니다. 이러한 요소들이 언어 모델의 성능에 어떤 영향을 미칠까요? 본 논문에서는 HIVE (Human Input-Variation Engine)라는 음성 전사 변동 및 QWERTY 키보드 변동 모음을 제시합니다. HIVE를 사용하여 모델이 이러한 변동에 얼마나 강건한지 평가했습니다. 우리는 다음과 같은 일곱 가지 결과를 얻었습니다. (i) 음성 전사 변동은 테스트된 모든 명령어 튜닝 모델의 정확도를 저하시키며, 그 원인은 전사의 내용 자체보다는 구조적인 요소에서 비롯됩니다. (ii) QWERTY 키보드 변동은 상대적으로 적은 영향을 미치며, 모델은 상당한 양의 변동을 흡수할 수 있습니다. (iii) 이는 모두 질문에 포함된 토큰이 얼마나 많이 변동 과정을 거치는가에 기인합니다. 토큰이 파괴될수록 성능 저하가 발생하지만, 새로운 토큰이 추가되더라도 큰 영향을 미치지 않습니다. (iv) 두 입력 방식 간의 차이는 답변을 구성하거나 추론해야 하는 경우에만 나타나며, 객관식 문제에서는 이러한 차이가 없습니다. (v) 손상은 테스트 데이터 오염에서 비롯된 것만이 아닙니다. (vi) 경량 적응 훈련으로는 이러한 문제를 완벽하게 해결할 수 없습니다. (vii) '사고 예산(thinking budget)'을 사용하면 키보드 입력 채널은 거의 완전히 복구되지만, 음성 입력 채널에는 영향을 미치지 않으며, 압축된 음성은 오히려 더 악화됩니다.

Human input reaches language models by typing or speaking, and each channel leaves a distinct signature: orthographic noise for keyboards; for voice, disfluency from conventional transcription and restructuring from AI-backed dictation tools. How do they impact an LLM's performance? In this paper we present HIVE (Human Input-Variation Engine), a suite of voice transcription perturbations and QWERTY keyboard perturbations. We use HIVE to evaluate how robust models are to these perturbations. We present seven findings. (i) Voice transcription perturbations lower accuracy across every instruction-tuned model we test, and it is the structure of the transcription rather than its fillers that carries the cost. (ii) QWERTY keyboard perturbations cost less, and a model absorbs a lot of them before accuracy falls away. (iii) Both trace back to one cause, how many of the question's tokens survive the perturbation: destroying a token is what hurts, while adding new ones alongside it costs little. (iv) The gap between the two channels appears only where the answer must be constructed or deduced; on multiple choice there is none. (v) The harm does not solely come from test-set contamination. (vi) It cannot be trained away with lightweight adaptation. (vii) A thinking budget recovers the keyboard channel almost entirely but leaves the spoken registers untouched, and compressed speech is worse with it.