코드화된 인간 전문가 도메인 지식으로 LLM을 증강하여 AI 에이전트를 구축하는 방법: 소프트웨어 엔지니어링 프레임워크
How to Build AI Agents by Augmenting LLMs with Codified Human Expert Domain Knowledge? A Software Engineering Framework
중요한 도메인 지식은 일반적으로 소수의 전문가에게 집중되어 있어, 확장성과 의사 결정에 있어 조직적인 병목 현상을 초래합니다. 비전문가는 효과적인 시각화를 생성하는 데 어려움을 겪으며, 이는 최적화되지 않은 통찰력 도출로 이어지고 전문가의 시간을 뺏게 만듭니다. 본 논문은 산업 사례 연구를 통해 인간의 도메인 지식을 포착하여 AI 에이전트 시스템에 내재화하는 방법을 조사합니다. 우리는 시뮬레이션 데이터 시각화를 위한 AI 에이전트 엔지니어링 과정에서 인간 도메인 지식을 포착하는 소프트웨어 엔지니어링 프레임워크를 제안합니다. 이 프레임워크는 대규모 언어 모델(LLM)을 요청 분류기, 코드 생성을 위한 검색 증강 생성(RAG) 시스템, 코드화된 전문가 규칙, 그리고 시각화 디자인 원칙으로 증강하여, 자율적, 반응적, 주도적, 사회적 행동을 보여주는 하나의 통합된 에이전트로 구현합니다. 여러 엔지니어링 도메인에 걸친 5가지 시나리오와 12명의 평가자를 대상으로 한 평가 결과, 기준 모델의 저조한 성능 대비 제안된 에이전트는 모든 경우에서 전문가 수준의 평가를 받으며 출력 품질이 206% 향상되었음을 입증하였고, 더 낮은 편차로 우수한 코드 품질을 유지하였습니다. 본 연구의 기여점은 시각화 생성을 위한 자동화된 에이전트 기반 시스템과, 인간의 도메인 지식을 체계적으로 포착하고 암묵적인 전문가 지식을 코드화하여 AI 에이전트에 적용하는 검증된 프레임워크를 제시함으로써, 전문 분야에서 비전문가도 전문가 수준의 성과를 달성할 수 있음을 입증한 것입니다.
Critical domain knowledge typically resides with few experts, creating organizational bottlenecks in scalability and decision-making. Non-experts struggle to create effective visualizations, leading to suboptimal insights and diverting expert time. This paper investigates how to capture and embed human domain knowledge into AI agent systems through an industrial case study. We propose a software engineering framework to capture human domain knowledge for engineering AI agents in simulation data visualization by augmenting a Large Language Model (LLM) with a request classifier, Retrieval-Augmented Generation (RAG) system for code generation, codified expert rules, and visualization design principles unified in an agent demonstrating autonomous, reactive, proactive, and social behavior. Evaluation across five scenarios spanning multiple engineering domains with 12 evaluators demonstrates 206% improvement in output quality, with our agent achieving expert-level ratings in all cases versus baseline's poor performance, while maintaining superior code quality with lower variance. Our contributions are: an automated agent-based system for visualization generation and a validated framework for systematically capturing human domain knowledge and codifying tacit expert knowledge into AI agents, demonstrating that non-experts can achieve expert-level outcomes in specialized domains.
Gemini 3.0 Pro Analysis
Korean Summary
Key Innovations
- 명시적 규칙(알고리즘)과 암묵적 지식(디자인 원칙)을 구분하여 통합하는 체계적인 지식 코드화 프레임워크
- LLM, RAG, 규칙 기반 분류기, 프롬프트 생성기를 결합한 하이브리드 에이전트 아키텍처
- 특정 물리 현상에 종속되지 않고 배터리, 모터, 구조 해석 등 다양한 공학 도메인에 적용 가능한 물리 불가지론적(Physics-Agnostic) 설계
- 전문가 규칙을 실행 가능한 Python 스크립트와 시스템 프롬프트로 이원화하여 구현하는 전략
- 비전문가의 간단한 프롬프트만으로 전문가 수준의 시각화 및 코드 품질을 달성하는 자동화된 에이전트 시스템
Learning & Inference Impact
이 프레임워크는 모델의 가중치를 업데이트하는 학습(Training)보다는 추론(Inference) 단계의 아키텍처 개선에 초점을 맞춥니다. 단순히 LLM에 의존하는 대신, '지능형 분류기'가 사용자 요청을 분석하고 미리 정의된 '전문가 규칙(Python 스크립트)'과 '디자인 원칙(RAG 기반 프롬프트)'을 주입하여 LLM의 생성 과정을 제어합니다. 이를 통해 LLM의 확률적 특성으로 인한 오류를 줄이고, 도메인 특화 지식을 강제하여 결과물의 신뢰성과 일관성을 획기적으로 높입니다. 즉, 문맥 내 학습(In-Context Learning)과 룰 기반 시스템의 장점을 결합하여 공학적 정확성을 보장합니다.
Technical Difficulty
Estimated implementation complexity based on methodology.