ScrapeGraphAI-100k: LLM 기반 웹 정보 추출을 위한 대규모 데이터셋

ScrapeGraphAI-100k: A Large-Scale Dataset for LLM-Based Web Information Extraction

대규모 언어 모델(LLM)을 활용한 웹 정보 추출은 현대 웹 정보 검색 시스템의 핵심적인 부분으로 자리 잡고 있습니다. 그러나 기존 데이터셋은 규모가 작거나, 인공적으로 생성되었거나, 텍스트 데이터만 포함하는 경우가 많아 웹의 구조적인 맥락을 제대로 반영하지 못합니다. 본 연구에서는 2025년 2분기와 3분기에 수집된 실제 LLM 추출 이벤트를 포함하는 대규모 데이터셋인 ScrapeGraphAI-100k를 소개합니다. 9백만 건의 데이터를 중복 제거하고 스키마를 기준으로 균형을 맞춘 결과, 93,695개의 다양한 도메인과 언어의 예시를 확보했습니다. 각 예시는 마크다운 콘텐츠, 프롬프트, JSON 스키마, LLM 응답, 그리고 복잡성/검증 메타데이터를 포함합니다. 본 연구에서는 데이터셋의 구조적 다양성을 분석하고, 스키마 복잡도가 증가함에 따른 오류 발생 패턴을 파악했습니다. 또한, 데이터셋의 일부를 사용하여 학습된 소규모 언어 모델(1.7B)이 더 큰 모델(30B)과의 성능 격차를 줄일 수 있음을 보여주는 실험 결과를 제시하여, 데이터셋이 효율적인 정보 추출에 유용함을 강조합니다. ScrapeGraphAI-100k는 소규모 모델의 파인튜닝, 구조화된 정보 추출 벤치마킹, 그리고 웹 정보 검색 인덱싱을 위한 스키마 유도 연구에 활용될 수 있으며, HuggingFace에서 공개적으로 이용 가능합니다.

The use of large language models for web information extraction is becoming increasingly fundamental to modern web information retrieval pipelines. However, existing datasets tend to be small, synthetic or text-only, failing to capture the structural context of the web. We introduce ScrapeGraphAI-100k, a large-scale dataset comprising real-world LLM extraction events, collected via opt-in ScrapeGraphAI telemetry during Q2 and Q3 of 2025. Starting from 9M events, we deduplicate and balance by schema to produce 93,695 examples spanning diverse domains and languages. Each instance includes Markdown content, a prompt, a JSON schema, the LLM response, and complexity/validation metadata. We characterize the datasets structural diversity and its failure modes as schema complexity increases. We also provide a fine-tuning experiment showing that a small language model (1.7B) trained on a subset narrows the gap to larger baselines (30B), underscoring the datasets utility for efficient extraction. ScrapeGraphAI-100k enables fine-tuning small models, benchmarking structured extraction, and studying schema induction for web IR indexing, and is publicly available on HuggingFace.