피싱 URL 탐지를 위한 최소-최대 추론 방식 제안

Eliciting Least-to-Most Reasoning for Phishing URL Detection

피싱은 여전히 가장 흔한 공격 방법 중 하나이며, 정확한 피싱 URL 분류는 매우 중요합니다. 최근 대규모 언어 모델(LLM)은 피싱 URL 탐지에서 유망한 결과를 보여주었습니다. 그러나 이러한 성능을 가능하게 하는 LLM의 추론 능력은 충분히 연구되지 않았습니다. 본 연구에서는 피싱 URL 탐지를 위한 최소-최대(Least-to-Most) 프롬프팅 프레임워크를 제안합니다. 특히, 저희는 최소-최대의 반복적인 접근 방식을 향상시키고 예측 정확도를 높이기 위해 "답변 민감도(answer sensitivity)" 메커니즘을 도입했습니다. 저희 프레임워크는 세 개의 URL 데이터셋과 네 가지 최첨단 LLM을 사용하여 평가했으며, 단일 샷(one-shot) 방식과 지도 학습 모델과 비교했습니다. 실험 결과, 저희 프레임워크는 단일 샷 기준 모델보다 우수한 성능을 보였으며, 훨씬 적은 학습 데이터를 사용했음에도 지도 학습 모델과 유사한 성능을 달성했습니다. 또한, 저희의 심층적인 분석은 최소-최대가 가능하게 하는 반복적인 추론이 저희의 답변 민감도 메커니즘에 의해 강화되어 이러한 성능 향상을 이끌어냄을 보여줍니다. 전반적으로, 저희는 이 간단하면서도 강력한 프롬프팅 전략이 단일 샷 및 지도 학습 방식 모두보다 일관되게 우수한 성능을 보인다는 것을 입증했습니다. 저희의 실험 설정은 Github 저장소 github.sydney.edu.au/htri0928/least-to-most-phishing-detection에서 확인할 수 있습니다.

Phishing continues to be one of the most prevalent attack vectors, making accurate classification of phishing URLs essential. Recently, large language models (LLMs) have demonstrated promising results in phishing URL detection. However, their reasoning capabilities that enabled such performance remain underexplored. To this end, in this paper, we propose a Least-to-Most prompting framework for phishing URL detection. In particular, we introduce an "answer sensitivity" mechanism that guides Least-to-Most's iterative approach to enhance reasoning and yield higher prediction accuracy. We evaluate our framework using three URL datasets and four state-of-the-art LLMs, comparing against a one-shot approach and a supervised model. We demonstrate that our framework outperforms the one-shot baseline while achieving performance comparable to that of the supervised model, despite requiring significantly less training data. Furthermore, our in-depth analysis highlights how the iterative reasoning enabled by Least-to-Most, and reinforced by our answer sensitivity mechanism, drives these performance gains. Overall, we show that this simple yet powerful prompting strategy consistently outperforms both one-shot and supervised approaches, despite requiring minimal training or few-shot guidance. Our experimental setup can be found in our Github repository github.sydney.edu.au/htri0928/least-to-most-phishing-detection.