GitLake: 데이터 중심 Git을 활용한 에이전트 기반 레이크하우스

GitLake: Git-for-data for the agentic lakehouse

본 논문에서는 에이전트 우선(agent-first) 방식의 레이크하우스를 위한 'GitLake'라는 새로운 데이터 중심 Git 설계 방안을 제시합니다. GitLake는 단일 테이블 Iceberg 스냅샷을 레이크하우스 전체에 걸친 커밋, 브랜치 및 병합 기능으로 확장하여 에이전트가 격리된 브랜치에서 작업하고, 사용자가 변경 사항을 검토하고 게시할 수 있도록 합니다. 파이프라인은 임시 브랜치에서 실행되고 최종 병합을 통해 결과를 게시하므로, 모든 결과물이 원자적으로 나타나거나 전혀 나타나지 않도록 보장합니다. 마지막으로, 실제 운영 환경에서의 경험과 함께 핵심 추상화에 대한 Alloy 모델링을 통한 정확성 분석 결과를 보고합니다.

We present GitLake, a Git-for-data design for an agent-first lakehouse. The system lifts single-table Iceberg snapshots into lakehouse-wide commits, branches, and merges, letting agents work on isolated branches while humans review and publish changes. Pipelines run on temporary branches and publish through a final merge, so all outputs become visible atomically or none do. Finally, we report production lessons as well as correctness insights from a preliminary Alloy model of our core abstractions.