변화 인식 기반의 유연한 3D 가우시안 편집

Variation-aware Flexible 3D Gaussian Editing

최근 3D 가우시안 스플래팅(3DGS)을 위한 간접 편집 방법들이 상당한 발전을 이루었다. 이러한 접근법은 먼저 렌더링된 2D 공간에서 편집을 적용한 다음, 그 수정 사항을 3D로 다시 투영하는 방식으로 작동한다. 그러나 이러한 패러다임은 필연적으로 시점 간 불일치를 유발하며 편집 과정의 유연성과 효율성을 모두 제한한다. 이러한 문제를 해결하기 위해, 우리는 피드포워드(feedforward) 방식으로 속성 변화를 예측하여 가우시안 프리미티브의 네이티브(native) 편집을 가능하게 하는 VF-Editor를 제안한다. 이러한 변화를 정확하고 효율적으로 추정하기 위해 우리는 2D 편집 지식으로부터 증류된 새로운 변화 예측기를 설계한다. 이 예측기는 입력을 인코딩하여 변화장(variation field)을 생성하고, 학습 가능한 두 개의 병렬 디코딩 함수를 사용하여 각 3D 가우시안에 대한 속성 변화를 반복적으로 추론한다. 통합된 설계 덕분에 VF-Editor는 다양한 2D 편집기 및 전략에서 얻은 편집 지식을 단일 예측기로 매끄럽게 증류하여 3D 도메인으로 유연하고 효과적인 지식 전이를 가능하게 한다. 공개 및 비공개 데이터셋에 대한 광범위한 실험을 통해 간접 편집 파이프라인의 본질적인 한계를 밝히고 제안하는 방식의 효과와 유연성을 검증한다.

Indirect editing methods for 3D Gaussian Splatting (3DGS) have recently witnessed significant advancements. These approaches operate by first applying edits in the rendered 2D space and subsequently projecting the modifications back into 3D. However, this paradigm inevitably introduces cross-view inconsistencies and constrains both the flexibility and efficiency of the editing process. To address these challenges, we present VF-Editor, which enables native editing of Gaussian primitives by predicting attribute variations in a feedforward manner. To accurately and efficiently estimate these variations, we design a novel variation predictor distilled from 2D editing knowledge. The predictor encodes the input to generate a variation field and employs two learnable, parallel decoding functions to iteratively infer attribute changes for each 3D Gaussian. Thanks to its unified design, VF-Editor can seamlessly distill editing knowledge from diverse 2D editors and strategies into a single predictor, allowing for flexible and effective knowledge transfer into the 3D domain. Extensive experiments on both public and private datasets reveal the inherent limitations of indirect editing pipelines and validate the effectiveness and flexibility of our approach.