도메인 범위를 넘어: 전이 가능한 상호 작용 패턴을 통한 웹 기술 재사용

Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns

대규모 언어 모델(LLM) 기반 웹 에이전트는 주로 도구 호출기로 사용되며, 매 단계마다 모델은 새로운 페이지 정보를 읽고 구조화된 도구 작업을 하나씩 출력합니다. 모든 작업이 기본 수준의 원시 동작일 경우, 정책 결정에 필요한 LLM 연산량이 빠르게 증가하여 Mind2Web 및 WebArena와 같은 벤치마크에서 지연 시간과 비용을 높이는 문제가 발생합니다. 따라서 최근 시스템에서는 반복적인 상호 작용 단편들을 웹 기술로 묶어, 성공적인 경로 또는 유도된 프로그램을 기반으로 재사용 가능한 도구를 생성하며, 하나의 호출만으로 여러 개의 기본 동작을 대체할 수 있도록 합니다. 하지만 기존의 기술 라이브러리는 주로 명령 유사성이나 대략적인 사이트 메타데이터에 의해 트리거되어, 새로운 웹사이트에서의 기술 재사용률이 낮고 잠재적인 단계 및 토큰 감소 효과를 충분히 활용하지 못하는 한계가 있습니다. 본 논문에서는 SkillMigrator라는 에이전트를 제안합니다. SkillMigrator는 재사용 가능한 웹 기술을 학습하고 특정 요소 참조보다는 레이아웃 구조를 기반으로 이를 다른 웹사이트로 전이합니다. 각 유도된 기술은 전이 가능한 상호 작용 패턴(TIP)으로 저장되며, 이는 기술과 해당 시점의 스냅샷에 대한 구조적 개요를 함께 포함합니다. 테스트 단계에서 SkillMigrator는 레이아웃 유사성을 기반으로 TIP를 검색하고, 이를 현재 페이지의 정보와 연결합니다. 나머지 구성 요소는 표준 방식으로 작동하며, 안정적인 참조를 갖는 접근성-스냅샷 관찰과 기본 동작 호출 및 기술 호출을 사용합니다. 실험 결과, SkillMigrator는 WebArena 및 Mind2Web에서 동일한 성공률을 유지하면서 성공적인 경로에서의 평균 LLM 작업 수를 8~10% 줄이는 성능을 보였습니다.

Large language model (LLM) web agents are usually deployed as tool callers: each turn, the model reads a fresh page observation and emits one structured tool action. When every action is a low-level primitive, horizons grow quickly and so do policy-facing LLM completions, dominating latency and cost on benchmarks such as Mind2Web and WebArena. Recent systems therefore wrap repeated interaction fragments as web skills: callable tools built from successful trajectories or induced programs, so one call can replace several primitives. However, prior skill libraries are still triggered mainly by instruction similarity or coarse site metadata, which yields low skill reuse on held-out sites and leaves much of the potential step and token reduction on the table. We present SkillMigrator, an agent that learns reusable web skills and transfers them across sites by matching layout structure rather than specific element references. Each induced skill is stored as a transferable interaction pattern (TIP): the skill paired with a structural sketch of the snapshot at induction time. At test time, SkillMigrator retrieves TIPs by layout similarity and grounds their references on the live page. The rest of the stack is standard: accessibility-snapshot observations with stable references, and fixed tool calling over primitives plus skill invocations. Compared with the state-of-the-art approaches, SkillMigrator reduces the average LLM-action count on successful trajectories by 8-10% across both WebArena and Mind2Web at matched success rate.