FIL 가설: 귀납적 편향이 커널 엔지니어링에 기여한다

The FIL Hypothesis: Inductive Biases Help with Kernel Engineering

일반적인 방법론이 연산 및 데이터 양에 따라 확장될수록, 인간의 지식을 내장한 방법론보다 우수한 성능을 보인다는 '비터 레슨'은 대규모 언어 모델 시대의 주류 패러다임으로 자리 잡았습니다. 본 연구에서는 새로운 중요한 확장 차원인 피드백 정보 루프(FIL)의 지속 시간, 즉 시스템이 예측을 생성한 후 검증 신호를 받는 데 필요한 시간을 관찰하며 이 원칙을 재검토합니다. 과거 인공지능(AI)의 대부분 성공 사례는 거의 즉각적인 피드백(예: 게임 또는 분류 작업)으로부터 이익을 얻었지만, 미래의 AI 응용 분야는 과학 및 물리 세계에서 작동하며 필연적으로 몇 시간에서 몇 주까지 지속되는 FIL을 포함할 것이라고 주장합니다. 이러한 추세는 근본적인 확장 제한을 야기하는데, 이는 순수 데이터 기반 방법론에 필요한 충분한 검증 단계를 얻기가 실제로 불가능하기 때문입니다. 또한, 본 연구에서는 순수 데이터 기반 접근 방식과는 다른, 인간의 영감을 받은 전문 지식을 기반으로 하는 방법을 제안합니다. 이 방법은 귀납적 편향을 활용하고 해 공간을 제한하는 것을 기반으로 합니다. 우리는 실제 GPU 프로그래밍 작업이라는 복잡한 FIL을 가진 분야를 연구하여 가설 및 방법을 초기 검증하고, 귀납적 편향을 통합하면 데이터 기반 접근 방식보다 우수한 성능을 얻을 수 있음을 보여줍니다. 코드는 다음 주소에서 공개됩니다: https://github.com/ai-nikolai/robust_kernelbench

The Bitter Lesson, which posits that general-purpose methods that scale with computation and data ultimately outperform those with built-in human knowledge, has become a dominant paradigm in the era of Large Language Models. We revisit this principle by observing a new and critical scaling dimension: the duration of the Feedback Information Loop (FIL), the time required for a system to receive a verification signal after generating a prediction. Most historic successes in Artificial Intelligence (AI) have benefited from near instantaneous feedback (e.g., games or classification tasks), but we argue that future AI applications in science and the physical world will inherently involve FILs ranging from hours to weeks. This trend poses a fundamental scaling limit, as obtaining enough verification steps required by purely data-driven methods becomes practically impossible. Additionally, we propose a method that is orthogonal to purely data-driven approaches, based on human-inspired expert knowledge. The method relies on inductive biases and constraining the solution space. We provide an initial validation of the hypothesis and the method, by studying the real-world GPU programming task, a domain with non-trivial FIL, and demonstrate that incorporating inductive biases yields superior performance over data-driven approaches. The code is released under: https://github.com/ai-nikolai/robust_kernelbench