Vision-TL-Action: 시각적 관찰 및 시간 논리를 이용한 신경-기호 경로 생성

Vision-TL-Action: Neuro-Symbolic Trajectory Generation from Visual Observations and Temporal Logic

시간 논리(Temporal Logic, TL)는 장기적인 로봇 작업 정의를 위한 구조화된 언어를 제공하지만, 기존의 TL 기반 경로 생성기는 정확한 객체 기하 정보를 작업 그래프에 포함시켜 인식-기호 결합 단계를 우회합니다. 본 연구에서는 멀티뷰 이미지, 좌표 정보가 없는 TL 구문 그래프, 그리고 로봇의 초기 상태로부터 행동 경로를 생성하는 extit{Vision-TL-Action}을 제안합니다. TL 노드 토큰과 공간 시각 토큰은 양방향 크로스 어텐션을 통해 융합되며, 결과적으로 생성된 표현은 플로우 매칭 기반의 경로 생성기를 조건화합니다. 시각 토큰은 정규화된 이미지 평면 위치 정보와 카메라 뷰 식별자만 포함하며, 학습 단계에서만 사용되는 술어-영역 객관 함수는 참조 객체와의 연관성을 강화하도록 설계되었습니다. 기존 연구와 마찬가지로, 본 모델의 성능은 Success@$K$ 지표를 사용하여 평가합니다. 이는 K개의 샘플 경로 중 적어도 하나가 TL 명세 조건을 만족하는 작업의 비율을 나타냅니다. Panda 작업에서 본 모델은 67.45%의 Success@1024를 달성했으며, 이는 오라클 상태 기준선(59.11%)보다 높은 수치입니다. AntMaze 작업에서는 96.35%의 Success@256을 달성하여, 오라클 결과인 96.88%와 유사한 성능을 보였습니다. 해상도 및 개입 연구를 통해 공간적 세부 사항은 의미론적 연관성에 의존하며, 술어의 동일성은 어텐션과 성능에 모두 영향을 미치는 것을 확인했습니다. 이러한 결과는 시각적 관찰 데이터와 구조화된 TL 목표로부터 객체 기하 정보를 필요로 하지 않고 직접적으로 행동 경로를 생성하는 방법을 보여줍니다. 관련 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/AricLau07/vision-tl-action.

Temporal logic (TL) provides a compositional language for the formulation of long horizon robotic tasks, but existing TL-conditioned trajectory generators can sidestep perception-to-symbol binding by encoding exact object geometry in the task graph. We introduce \emph{Vision-TL-Action}, which generates action trajectories from multi-view images, a coordinate-free TL syntax graph, and the robot initial state. TL-node tokens and spatial visual tokens are fused through bidirectional cross-attention, and the resulting representation conditions a flow-matching trajectory generator. Visual tokens are augmented only with normalized image-plane locations and camera-view identifiers, while a training-only predicate-to-region objective encourages grounding to referenced objects. Consistent with prior work in this domain, we evaluate the model using Success@$K$, the fraction of tasks for which at least one of K sampled trajectories satisfies the TL specification. On Panda task, our model achieves 67.45% Success@1024, compared with 59.11% for the oracle-state baseline. On AntMaze task, it achieves 96.35% Success@256, comparable to the oracle result of 96.88%. Resolution and intervention studies show that spatial detail depends on semantic grounding and predicate identity affects both attention and performance. These results demonstrate a direct mapping from visual observations and structured TL goals to action trajectories without requiring object geometry at inference. Code is available at https://github.com/AricLau07/vision-tl-action.