JL1-CC&QA: JL1-CD 벤치마크 확장 - 변화 설명 생성 및 질의응답 기능 추가

JL1-CC&QA: Extending the JL1-CD Benchmark with Change Captioning and Question Answering

원격 감지 기반 변화 탐지는 전통적으로 픽셀 단위의 이진 분할에 초점을 맞춰, 변화가 발생하는 위치는 식별하지만 무엇이 어떻게 변했는지, 그리고 그 이유는 알 수 없습니다. 이러한 의미론적 간극을 해소하기 위해, 저희는 JL1-CC&QA를 소개합니다. 이는 JL1-CD 데이터셋을 확장한 다중 작업 벤치마크로, 두 가지 상호 보완적인 어노테이션 레이어인 변화 설명 생성(Change Captioning, CC)과 변화 관련 질의응답(Change Question Answering, QA) 기능을 포함합니다. 이 벤치마크는 Jilin-1 위성에서 얻은 5,000쌍의 시계열 이미지 데이터셋을 기반으로 하며, (i) JL1-CC는 다양한 지표 변화를 설명하는 17,021개의 품질 검증된 설명을 제공하고, (ii) JL1-QA는 8가지 유형의 질문-답변 쌍을 포함하여 20,060개의 데이터 포인트를 제공함으로써 표면 변화에 대한 세밀하고 상호적인 분석을 가능하게 합니다. 모든 어노테이션은 다중 모드 대규모 언어 모델(LLM) 생성, 시각 정보 기반 LLM 평가, 그리고 전문가 검증의 3단계 파이프라인을 통해 생성되었습니다. 저희는 JL1-CC&QA가 이진 변화 마스크, 변화 설명, 그리고 동일한 이미지 세트에 대한 변화 관련 질의응답 기능을 통합하는 벤치마크로서, 원격 감지 분야에서 다중 작업 기반의 변화 이해를 발전시키는 데 귀중한 자료가 될 것이라고 기대합니다. 데이터셋은 https://github.com/circleLZY/JL1-CD 에서 이용 가능합니다.

Remote sensing change detection (CD) traditionally focuses on pixel-level binary segmentation, which identifies where changes occur but neither what nor why. To bridge this semantic gap, we introduce JL1-CC&QA, a multi-task benchmark that extends the JL1-CD dataset with two complementary annotation layers: change captioning (CC) and change question answering (QA). Built upon 5,000 bi-temporal image pairs acquired by the Jilin-1 satellite at 0.5-0.75m ground sample distance, the benchmark comprises: (i) JL1-CC, providing 17,021 quality-verified captions that describe diverse land-cover transformations; and (ii) JL1-QA, offering 20,060 question-answer pairs across eight question types, enabling fine-grained, interactive interrogation of surface changes. All annotations are produced via a three-stage pipeline consisting of multi-modal large language model (LLM) generation, vision-grounded LLM judging, and human expert verification. We hope that JL1-CC&QA, as a benchmark unifying binary change masks, change captions, and change-oriented QA over the same image set, will serve as a valuable resource for the community to advance multi-task change understanding in remote sensing. The dataset is available at https://github.com/circleLZY/JL1-CD.