PAL-Bench: 증거 기반 개인 프로파일 재구성 연구 - 장기 개인 앨범 데이터 활용

PAL-Bench: Evidence-Grounded Profile Reconstruction from Longitudinal Personal Albums

장기 개인 앨범은 정형화되지 않은 다중 모드 데이터베이스입니다. 이 데이터는 얼굴, 텍스트, 타임스탬프, 위치 및 반복적인 이벤트 정보를 결합하여 중요한 사실을 파악해야 합니다. 기존의 시각, 비디오, 문서 및 라이플로그 벤치마크는 특정 하위 문제를 테스트하지만, 소셜 네트워크 정보와 증거 인용을 포함하는 앨범 단위의 프로파일 재구성과 같은 전체적인 문제는 다루지 않습니다. 이 과제를 평가하는 것은 어렵습니다. 왜냐하면 평가지표로 사용되는 진실 데이터(소유자 프로필, 소셜 그래프, 얼굴-이름 매핑 및 증거 출처)는 개인 정보에 해당하며 실제 앨범에서 안전하게 공개할 수 없기 때문입니다. 본 연구에서는 공공 기록 계약 하에 설계된 제어형 벤치마크인 PAL-Bench를 소개합니다. PAL-Bench의 증거 컴파일러는 잠재적인 개인 세계를 구축하고, 대상 수준의 증거 경로를 프로그래밍하며, 앨범 픽셀을 생성하고, 인식 파이프라인을 통해 재측정하여 감사된 공개/비공개 뷰를 제공합니다. 시스템은 인식 과정을 통해 얻은 공개 데이터만 수신하며, 대상 정보, 식별 매핑 및 증거 경로는 숨겨져 있습니다. PAL-Bench는 50명의 합성 사용자와 36,659개의 공공 사진 데이터, 그리고 소유자 사실, 신원 및 관계에 대한 2,799개의 목표 데이터를 포함합니다. 개인 정보 보호를 고려한 감사 결과, 10명의 참여자가 PAL-Bench의 증거 구조가 실제 개인 앨범과 유사함을 확인했지만, 동일한 수준의 공개는 여전히 개인 정보 침해 위험이 있음을 나타냅니다. 7개의 시스템과 두 가지 컴퓨팅 성능을 동일하게 맞춘 진단 테스트를 통해 7가지 지표를 사용하여 평가한 결과, 합리적인 프로파일 요약과 정확한 소셜 네트워크 재구성이 어렵다는 것을 알 수 있습니다. 시스템은 일부 소유자 정보를 복구하는 데 성공했지만, 반복되는 신원 식별 및 증거 인용에는 어려움을 겪었습니다. PAL-TRACE라는 참조 프레임워크는 소유자 정보 마이닝 전에 신원 연결을 고정하여 가장 우수한 성능을 보였지만, 어려운 신원 해결 문제는 여전히 해결되지 않았습니다. PAL-Bench는 인식 기반 개체 식별, 다중 모드 데이터 통합, 시간적 증거 집계 및 출처 정보를 활용한 구조화된 예측 연구를 위한 테스트 환경을 제공합니다.

Longitudinal personal albums are weak-schema multimodal databases: noisy perceptual records whose key facts require joins across faces, text, timestamps, locations, and repeated events. Existing visual, video, document, and lifelog benchmarks test sub-problems, but not album-scale profile reconstruction with social identity binding and evidence citation. Benchmarking this task is difficult because the ground truth needed for evaluation--owner profiles, social graphs, face-name maps, and evidence provenance--is private state that real albums cannot safely release. We introduce PAL-Bench, a controlled benchmark for evidence-grounded reconstruction under a public-record contract. Its Evidence Compiler builds latent private worlds, programs target-level evidence paths, renders album pixels, re-measures them through perception pipelines, and exports audited public/private views. Agents receive only perception-derived public records; targets, identifier maps, and evidence paths remain hidden. PAL-Bench contains 50 synthetic users, 36,659 public photo records, and 2,799 targets over owner facts, identities, and relations. A privacy-preserving audit with 10 participants confirms that PAL-Bench evidence structures match real private albums, though equivalent releases remain privacy-prohibitive. Across seven systems and two compute-matched diagnostics, a seven-metric protocol reveals a gap between plausible profile summarization and faithful social reconstruction: systems recover some owner facts but struggle with recurring identities and evidence citation. PAL-TRACE, a reference framework that freezes identity bindings before owner-fact mining, performs best but leaves hard identity resolution far from solved. PAL-Bench provides a testbed for perceptual entity resolution, multimodal data integration, temporal evidence aggregation, and provenance-aware structured prediction.