생성형 AI가 검색을 어떻게 혁신하는가: Google 검색, Gemini 및 AI 오버뷰에 대한 실증적 연구

How Generative AI Disrupts Search: An Empirical Study of Google Search, Gemini, and AI Overviews

생성형 AI는 사용자에게 편리함을 제공한다는 점에서 웹 검색에 점점 더 많이 통합되고 있습니다. 본 연구에서는 생성형 AI가 전통적인 검색 엔진과 달리 정보와 출처를 검색하고 제시하는 방식을 통해 웹 검색을 어떻게 혁신하는지 이해하고자 합니다. 본 연구를 지원하고 생성형 검색에 대한 미래 연구를 위해 11,500개의 사용자 쿼리를 포함하는 공개 벤치마크 데이터 세트를 소개합니다. Google 검색 엔진, 함께 제공되는 AI 오버뷰(AIO) 및 Gemini Flash 2.5가 각 쿼리에 대해 반환하는 검색 결과를 비교했습니다. 몇 가지 중요한 결과를 얻었습니다. 첫째, 대표적인 실제 사용자 쿼리의 51.5%에서 AIO가 생성되어 일반 검색 결과 위에 표시되는 것을 확인했습니다. 논쟁적인 질문은 AIO가 생성될 가능성이 높습니다. 둘째, 각 검색 엔진에서 검색되는 출처가 크게 다르다는 것을 확인했습니다(평균 자카드 유사성 < 0.2). 기존 Google 검색은 정부 또는 교육 기관의 인기 웹사이트 또는 기관 웹사이트에서 정보를 검색할 가능성이 훨씬 높으며, 반면 생성형 검색 엔진은 Google이 소유한 콘텐츠를 검색할 가능성이 훨씬 높습니다. 셋째, Google의 AI 크롤러를 차단하는 웹사이트는 콘텐츠에 접근할 수 있음에도 불구하고 AIO에 의해 검색될 가능성이 현저히 낮다는 것을 관찰했습니다. 마지막으로, AIO는 동일한 쿼리를 두 번 실행할 때 일관성이 떨어지며, 쿼리에 약간의 변경이 있을 때에도 견고성이 낮습니다. 본 연구의 결과는 생성형 검색이 웹사이트의 가시성에 미치는 영향, 생성형 엔진 최적화 기술의 효과, 그리고 사용자가 받는 정보에 대한 이해에 중요한 시사점을 제공합니다. 우리는 출판사와 생성형 검색 제공업체 모두에게 지속 가능하고 상호 이익이 되는 생태계를 조성할 수 있는 수익 모델을 촉구합니다.

Generative AI is being increasingly integrated into web search for the convenience it provides users. In this work, we aim to understand how generative AI disrupts web search by retrieving and presenting the information and sources differently from traditional search engines. We introduce a public benchmark dataset of 11,500 user queries to support our study and future research of generative search. We compare the search results returned by Google's search engine, the accompanying AI Overview (AIO), and Gemini Flash 2.5 for each query. We have made several key findings. First, we find that for 51.5\% of representative, real-user queries, AIOs are generated, and are displayed above the organic search results. Controversial questions frequently result in an AIO. Second, we show that the retrieved sources are substantially different for each search engine (<0.2 average Jaccard similarity). Traditional Google search is significantly more likely to retrieve information from popular or institutional websites in government or education, while generative search engines are significantly more likely to retrieve Google-owned content. Third, we observe that websites that block Google's AI crawler are significantly less likely to be retrieved by AIOs, despite having access to the content. Finally, AIOs are less consistent when processing two runs of the same query, and are less robust to minor query edits. Our findings have important implications for understanding how generative search impacts website visibility, the effectiveness of generative engine optimization techniques, and the information users receive. We call for revenue frameworks to foster a sustainable and mutually beneficial ecosystem for publishers and generative search providers.