브레드크럼핑 검색 에이전트

Breadcrumbing Search Agents

LLM 기반 검색 에이전트는 정보 검색 작업에 널리 사용되지만, 외부 도구의 결과에 의존하는 특성으로 인해 심각한 보안 위험을 초래합니다. 실행 중에 검색되는 웹 콘텐츠는 신뢰할 수 없으며, 이는 프롬프트 주입 및 목표 탈취 공격에 대한 취약점을 노출시킵니다. 기존의 검색 에이전트 안전 연구는 주로 정적인 웹 콘텐츠 주입에 중점을 두었지만, 현대 에이전트는 후속 쿼리를 실행하고 상충되는 소스를 교차 검증하기 때문에 단일 주입 페이지가 종종 희석되거나 거부됩니다. 본 연구에서는 검색 및 페이지 관찰을 전달하는 채널이 취약한 보안 경계라는 점을 보여줍니다. 이는 에이전트가 단일 악성 페이지에 노출되는 것뿐만 아니라, 중개된 검색 인터페이스를 통해 에이전트가 증거를 수집하고 최종 답변을 형성하는 방식을 반복적으로 조작할 수 있다는 것을 의미합니다. 제한적인 도구 중개자 공격 모델 하에서, 쿼리당 단 하나의 제어된 결과만을 추가해도 공격 성공률을 크게 높일 수 있으며, 특히 에이전트의 전체 경로에 걸쳐 증거가 조정되는 경우 더욱 그렇습니다. 본 연구에서는 전략 기반의 장기 공격 시스템을 통해 이러한 설정을 분석하고, Authority-Chain Hijack (ACH)라는 전문가 수준으로 개선된 전략을 소개합니다. ACH는 분리된 검색 결과 및 페이지 콘텐츠 조작을 일관된 증거 체인으로 연결하여, 겉보기에 상호 뒷받침되는 다양한 소스를 활용합니다. ACH는 모든 기준 모델 중 가장 높은 전체 공격 성공률(ASR)을 달성하며, SafeSearch 테스트 데이터셋에서 55.9% / 83.3%의 ASR / MaxN ASR을 기록했습니다. 또한, 실행 추적을 기반으로 공격자 전략을 자동으로 개선하는 Trace-Guided Strategy Evolution (TGSE) 방법을 소개합니다. TGSE는 수동 재설계를 대체하여 추적 데이터를 활용한 정제를 통해 전략을 개선하며, 가장 강력한 설정에서 71.4% / 95.0%의 성능을 보입니다 (미확인 데이터셋 평가 기준).

LLM-based search agents are widely used for information-seeking tasks, but their reliance on external tool returns introduces a critical security risk: web content retrieved during execution is untrusted, exposing agents to prompt injection and goal hijacking. Prior work on search-agent safety primarily focuses on static web-content injection, but modern agents issue follow-up queries and cross-check competing sources, so a single injected page is often diluted or rejected. We show that the channel delivering search and page observations is a fragile security boundary: beyond exposing the agent to a single poisoned page, a mediated search interface can repeatedly steer how the agent gathers evidence and forms its final answer. Under a constrained tool-intermediary threat model, appending only one controlled result per query can substantially increase attack success when the evidence is coordinated across the agent's trajectory. We study this setting with a strategy-driven long-horizon attack system and introduce Authority-Chain Hijack (ACH), an expert-refined strategy that turns isolated search-result and page-content manipulations into a coherent evidence chain across seemingly corroborating sources. ACH achieves the highest Overall ASR among all baselines, reaching 55.9% / 83.3% ASR / MaxN ASR on the full SafeSearch test split. We further introduce Trace-Guided Strategy Evolution (TGSE), which automatically improves attacker strategies from execution traces, replacing manual redesign with trace-driven refinement; its strongest single setting reaches 71.4% / 95.0% in held-out evaluation.