MicLog: 점진적인 메타 인-컨텍스트 학습을 통한 정확하고 효율적인 LLM 기반 로그 파싱

MicLog: Towards Accurate and Efficient LLM-based Log Parsing via Progressive Meta In-Context Learning

로그 파싱은 반정형 로그 데이터를 구조화된 템플릿으로 변환하여, 후속 분석의 핵심적인 기반을 제공합니다. 기존의 구문 및 의미 기반 파서들은 변화하는 로그의 의미적 변형과 제한된 도메인 커버리지로 인한 데이터 부족 문제로 인해 어려움을 겪습니다. 최근의 대규모 언어 모델(LLM) 기반 파서들은 인-컨텍스트 학습(ICL)을 활용하여 예시로부터 의미를 추출하며, 우수한 정확도를 보여줍니다. 그러나 LLM 기반 파서들은 다음과 같은 두 가지 주요 과제를 안고 있습니다. 1) 동적 예시 선택 및 교차 도메인 일반화와 같은 ICL 기능의 미흡한 활용으로 인한 일관성 없는 성능; 2) 시간 소모적이고 비용이 많이 드는 LLM 쿼리. 이러한 과제들을 해결하기 위해, 우리는 오픈 소스 LLM(예: Qwen-2.5-3B)에서 메타 학습과 ICL을 결합한 최초의 점진적인 메타 인-컨텍스트 학습(ProgMeta-ICL) 로그 파싱 프레임워크인 MicLog를 제안합니다. 구체적으로, MicLog는 다음과 같습니다. i) 가중치 DBSCAN 후보 샘플링과 향상된 BM25 데모 선택을 활용하여, 제로-샷에서 k-샷으로의 ProgMeta-ICL 패러다임을 통해 LLM의 ICL 능력을 향상시킵니다. ii) 다단계 사전 쿼리 캐시를 통해 최근에 파싱된 템플릿을 동적으로 매칭하고 개선하여 파싱 속도를 가속화합니다. Loghub-2.0에서 평가한 결과, MicLog는 최첨단 파서보다 10.3% 더 높은 파싱 정확도를 달성했으며, 파싱 시간을 42.4% 단축했습니다.

Log parsing converts semi-structured logs into structured templates, forming a critical foundation for downstream analysis. Traditional syntax and semantic-based parsers often struggle with semantic variations in evolving logs and data scarcity stemming from their limited domain coverage. Recent large language model (LLM)-based parsers leverage in-context learning (ICL) to extract semantics from examples, demonstrating superior accuracy. However, LLM-based parsers face two main challenges: 1) underutilization of ICL capabilities, particularly in dynamic example selection and cross-domain generalization, leading to inconsistent performance; 2) time-consuming and costly LLM querying. To address these challenges, we present MicLog, the first progressive meta in-context learning (ProgMeta-ICL) log parsing framework that combines meta-learning with ICL on small open-source LLMs (i.e., Qwen-2.5-3B). Specifically, MicLog: i) enhances LLMs' ICL capability through a zero-shot to k-shot ProgMeta-ICL paradigm, employing weighted DBSCAN candidate sampling and enhanced BM25 demonstration selection; ii) accelerates parsing via a multi-level pre-query cache that dynamically matches and refines recently parsed templates. Evaluated on Loghub-2.0, MicLog achieves 10.3% higher parsing accuracy than the state-of-the-art parser while reducing parsing time by 42.4%.