참조 데이터셋의 기하학적 특성을 통해 FID를 재고하다

Rethinking FID Through the Geometry of the Reference Dataset

Fréchet Inception Distance (FID)는 이미지 생성 모델을 평가하는 데 널리 사용되지만, 낮은 FID 값이 항상 더 나은 샘플 품질을 의미하지는 않습니다. 본 연구에서는 이러한 불일치가 참조 데이터셋의 기하학적 특성에 부분적으로 의존한다는 것을 보여줍니다. 여섯 개의 데이터셋에 대한 통제된 실험에서, 분포 밀도 및 효과적인 순위가 샘플 품질이 향상됨에 따라 FID 값이 어떻게 변하는지를 상당 부분 설명합니다. 밀도가 높은 데이터셋은 일반적으로 더 유리한 FID 추세를 보이는 반면, 분산도가 높은 데이터셋은 샘플 품질이 더 좋더라도 FID 값을 악화시킬 수 있습니다. 정밀도 및 재현율 분석, 그리고 대체 특징 공간 및 거리 지표를 사용한 실험 결과는 동일한 결론을 뒷받침합니다. 이러한 결과는 분포 관련 메트릭을 해석할 때 참조 데이터셋의 기하학적 특성을 함께 고려해야 보다 신뢰성 있는 벤치마킹이 가능하다는 것을 시사합니다.

Fréchet Inception Distance (FID) is widely used to evaluate image generators, yet lower FID does not always correspond to better sample quality. We show that this mismatch depends in part on the geometry of the reference dataset. In a controlled study across six datasets, distributional density and effective rank significantly explain how FID changes as sample quality improves. Concentrated datasets tend to yield more favorable FID trends, whereas more dispersed datasets can make FID worsen despite better samples. Attribution to precision and recall and ablations with alternative feature spaces and distances support the same conclusion. These results suggest that distributional metrics should be interpreted together with the geometry of the reference dataset for more reliable benchmarking.