생성형 강화학습을 이용한 역 리소그래피의 한계 극복

Pushing the Limits of Inverse Lithography with Generative Reinforcement Learning

역 리소그래피(ILT)는 현대 반도체 제조에 필수적이지만, 최적화 과정에서 종종 열악한 국소 최솟값(local minima)에 빠지게 만드는 심각한 비볼록(non-convex) 목적 함수 문제로 인해 어려움을 겪는다. 생성형 AI를 활용하여 ILT를 웜스타트(warm-start)하려는 연구들이 진행되었으나, 대부분의 접근법은 최적이 아닌(sub-optimal) 데이터셋을 모방하도록 결정론적 이미지 간 변환기(deterministic image-to-image translators)를 학습시키는 데 그쳐, 정제 과정에서 비볼록성 함정을 벗어나기 위한 가이드라인을 제한적으로만 제공한다. 본 연구에서는 마스크 합성을 조건부 샘플링으로 재정의한다: 생성자는 설계를 조건으로 하는 마스크의 분포를 학습하고 여러 후보를 제안한다. 생성자는 먼저 재구성 손실이 추가된 WGAN으로 사전 학습된 후, ILT 유도 모방 손실과 함께 그룹 상대적 정책 최적화(GRPO)를 사용하여 미세 조정된다. 추론 단계에서는 소규모 마스크 배치를 샘플링하고, 빠른 배치 기반의 ILT 정제를 실행한 뒤 리소그래피 지표(예: EPE, 공정 윈도우)를 평가하여 최적의 후보를 선택한다. \texttt{LithoBench} 데이터셋에서 제안된 하이브리드 프레임워크는 강력한 수치 해석적 ILT 베이스라인과 비교하여 3\,nm 허용 오차 내에서 EPE 위반을 줄이고 처리량을 약 2배 향상시키는 동시에 최종 마스크 품질을 개선한다. 또한 \texttt{ICCAD13} 대회 사례에서는 최첨단(SOTA) 수치 해석적 ILT 솔버 대비 3$\times$의 속도 향상과 함께 20% 이상의 EPE 개선을 달성했다. 본 접근법은 ILT 친화적인 초기화를 제안하도록 학습함으로써 비볼록성 문제를 완화하고, 기존 솔버나 생성형 AI가 달성할 수 있는 한계를 뛰어넘는 성과를 보여준다.

Inverse lithography (ILT) is critical for modern semiconductor manufacturing but suffers from highly non-convex objectives that often trap optimization in poor local minima. Generative AI has been explored to warm-start ILT, yet most approaches train deterministic image-to-image translators to mimic sub-optimal datasets, providing limited guidance for escaping non-convex traps during refinement. We reformulate mask synthesis as conditional sampling: a generator learns a distribution over masks conditioned on the design and proposes multiple candidates. The generator is first pretrained with WGAN plus a reconstruction loss, then fine-tuned using Group Relative Policy Optimization (GRPO) with an ILT-guided imitation loss. At inference, we sample a small batch of masks, run fast batched ILT refinement, evaluate lithography metrics (e.g., EPE, process window), and select the best candidate. On \texttt{LithoBench} dataset, the proposed hybrid framework reduces EPE violations under a 3\,nm tolerance and roughly doubles throughput versus a strong numerical ILT baseline, while improving final mask quality. We also present over 20\% EPE improvement on \texttt{ICCAD13} contest cases with 3$\times$ speedup over the SOTA numerical ILT solver. By learning to propose ILT-friendly initializations, our approach mitigates non-convexity and advances beyond what traditional solvers or GenAI can achieve.