보는 것과 선택은 다르다: LLM 에이전트의 도구 선택 실패에 대한 어텐션 세그먼트 분석

Looking Is Not Picking: An Attention-Segment Account of Tool-Selection Failures in LLM Agents

LLM 에이전트는 종종 잘못된 도구를 선택하며, 일반적으로 모델이 다양한 도구 목록에서 올바른 도구를 찾지 못했기 때문이라고 생각됩니다. 그러나 본 연구에서는 동시 진행 중인 연구에서 제시하는 관점을 통해 반대 주장을 펼칩니다. 즉, 모델의 어텐션은 명시적으로 정의된 도구 세그먼트에 집중됩니다. 실제 BFCL 실패 사례를 분석한 결과, 각 후보 도구에 대한 어텐션 값을 비교하여, 모델이 올바른 도구에 가장 높은 어텐션을 부여하는 경우는 80%에 달했습니다(무작위 선택의 경우 21%). 반면, 부적절하게 처리되는 세그먼트는 전체의 10%에 불과하며, 이는 모델이 올바른 도구를 '보고' 있음에도 불구하고 잘못된 도구를 선택한다는 것을 의미합니다. 이러한 결과는 직관적인 '혼잡한 환경/중간에서 길을 잃음'이라는 설명과는 직접적으로 상반됩니다. 실패의 원인은 도구 목록 자체가 아니라 결정 과정에 있으며, 본 연구에서는 이를 세 가지 측면에서 분석했습니다. (1) 입력과 출력 비교: 프롬프트를 수정하여 올바른 도구를 재정렬하거나 중복하면 실패 사례의 23%만이 해결되지만, 출력 측면에서의 개입은 59~91%의 성공률을 보입니다. (2) 표현 불변성: 서로 다른 표현 방식(어텐션 로짓 편향 및 잔차 스트림 조작 벡터)으로 동일한 부분에 개입했을 때, 거의 동일한 실패 사례가 해결되므로(모델별 자카드 지수 0.865, 0.79~0.91), 병목 현상은 특정 표현 방식에 국한되지 않고 출력 결정 과정에서 발생하는 것으로 판단됩니다. (3) 학습 및 정답 없이 작동하는 선택기: 세그먼트 기반 어텐션을 통해 BFCL 데이터셋에서 정답 정보 없이도 성능 향상을 이끌어낼 수 있었으며(함수 이름 선택 정확도 +11.9%, 오라클과의 격차 완화), Seal-Tools 데이터셋에서도 성능 향상을 확인할 수 있었습니다(모든 모델에서 긍정적인 결과, p<=8e-4). 실험 범위는 다르지만, 인과적 어텐션 편향의 효과는 10개의 다양한 크기(3B~32B) 모델에서 양방향 및 단조적으로 나타났으며, 전체 범위(0.5B~32B)에서는 상관 관계 분석 결과만 유효합니다. 또한, 실제 배포 가능한 선택기는 5개의 단일 턴 모델에서 테스트되었으며, 아직 다중 턴 환경으로 확장되지는 않았습니다.

LLM agents mis-call tools, and the natural guess is that the model failed to see the right tool in a crowded harness. We show the opposite through a lens concurrent work sets aside -- the model's attention to labeled tool-definition segments. On real BFCL failures, by per-candidate attention argmax the model attends most to the correct tool 80% of the time (vs. 21% chance), and the gold is the under-attended segment on only 10%: it looks at the right tool and still picks wrong. This directly refutes the intuitive "crowded-harness / lost-in-the-middle" explanation: the failure is at the decision readout, not the harness, and we pin it there three ways. (1) Input vs. readout: repairing the prompt (reordering or duplicating the gold tool) recovers <=23% of failures, while readout-side interventions recover 59-91%. (2) Representation-invariance: two gold-pointed interventions in different representations -- an additive attention-logit bias and a residual-stream steering vector -- recover largely the same failures (per-task Jaccard 0.865 pooled, 0.79-0.91 per model), so the bottleneck is localized to the readout independent of which representation is poked. (3) A training-free, gold-free selector: per-segment attention closes most of the gold-free-vs-oracle gap on BFCL (+11.9 pts pooled function-name selection vs. +17.9-pt oracle headroom) and adds +14.9 pts on Seal-Tools; every model positive (exact McNemar p<=8e-4 each). Scopes differ: the causal attention-bias dose-response is bidirectional and monotonic on 10 mask-honoring models (3-32B), the full 0.5-32B span carrying only the correlational diagnostic; the deployable selector is evaluated on 5 single-turn models and does not yet transfer to a multi-turn loop.