LAMMI-Pathology: 병리학의 분자 정보 기반 의료 지능을 위한 도구 중심의 상향식 LVLM-에이전트 프레임워크

LAMMI-Pathology: A Tool-Centric Bottom-Up LVLM-Agent Framework for Molecularly Informed Medical Intelligence in Pathology

도구 호출(tool-calling) 기반 에이전트 시스템의 등장은 기존의 거친 수준의(coarse-grained) 텍스트-이미지 진단 접근법과 대조적으로, 병리 이미지 분석을 위한 보다 증거 중심적인 패러다임을 제시합니다. 최근 공간 전사체(spatial transcriptomics) 기술이 대규모 실험에 채택됨에 따라, 분자 수준에서 검증된 병리학적 진단이 점점 더 개방되고 접근하기 쉬워지고 있습니다. 본 연구에서는 도메인 특화 에이전트 도구 호출을 위한 확장 가능한 에이전트 프레임워크인 LAMMI-Pathology(병리학의 분자 정보 기반 의료 지능을 위한 LVLM-에이전트 시스템)를 제안합니다. LAMMI-Pathology는 맞춤형 도메인 적응 도구를 기반으로 하는 도구 중심의 상향식 아키텍처를 채택합니다. 이러한 도구들은 도메인 스타일에 따라 군집화되어 구성 요소 에이전트(component agents)를 형성하며, 이들은 최상위 플래너(top-level planner)를 통해 계층적으로 조정되어 작업 표류(task drift)를 유발할 수 있는 지나치게 긴 컨텍스트 길이를 방지합니다. 이를 바탕으로, 우리는 신뢰할 수 있는 에이전트-도구 상호작용을 포착하는 반시뮬레이션(semi-simulated) 추론 궤적을 구축하는 데 있어 안정적이고 조합 가능한 단위로 기능하는 원자적 실행 노드(Atomic Execution Nodes, AENs) 기반의 새로운 궤적 구성 메커니즘을 도입합니다. 이러한 기반 위에서, 우리는 플래너의 의사 결정 과정을 다단계 추론 궤적에 정렬시키는 궤적 인식 미세 조정(trajectory-aware fine-tuning) 전략을 개발하여, 병리 이해 및 맞춤형 도구 세트의 적응적 사용에 대한 추론의 견고성을 향상시킵니다.

The emergence of tool-calling-based agent systems introduces a more evidence-driven paradigm for pathology image analysis in contrast to the coarse-grained text-image diagnostic approaches. With the recent large-scale experimental adoption of spatial transcriptomics technologies, molecularly validated pathological diagnosis is becoming increasingly open and accessible. In this work, we propose LAMMI-Pathology (LVLM-Agent System for Molecularly Informed Medical Intelligence in Pathology), a scalable agent framework for domain-specific agent tool-calling. LAMMI-Pathology adopts a tool-centric, bottom-up architecture in which customized domain-adaptive tools serve as the foundation. These tools are clustered by domain style to form component agents, which are then coordinated through a top-level planner hierarchically, avoiding excessively long context lengths that could induce task drift. Based on that, we introduce a novel trajectory construction mechanism based on Atomic Execution Nodes (AENs), which serve as reliable and composable units for building semi-simulated reasoning trajectories that capture credible agent-tool interactions. Building on this foundation, we develop a trajectory-aware fine-tuning strategy that aligns the planner's decision-making process with these multi-step reasoning trajectories, thereby enhancing inference robustness in pathology understanding and its adaptive use of the customized toolset.