August 2026
Time Period
Summary
Explore
Trending Papers
Most popular papers from the last 1 week
확률성은 어려운 부분이 아니다: 선행 지식 의존성 그래프(Prerequisite DAG)에서의 교육 순서 결정 및 복잡성 연구 Stochasticity Is Not the Hard Part: Reduction and Complexity in Instructional Sequencing over Prerequisite DAGs
학생이 선행 관계에 의해 연결된 개념을 학습해야 할 때, 교육 순서가 언제 중요한 의미를 가지며, 최적의 순서를 찾는 데 얼마나 많은 비용이 들까요? 본 연구에서는 교육 순서 결정을 확률적 최단 경로 문제로 정의하고, 각 개념 학습 시도가 상태에 따라 다른 성공 확률을 가지며, 실패할 경우 학생의 상태는 변하지 않는다고 가정합니다. 먼저, 이 확률성을 완전히 제거할 수 있음을 증명하며, 문제가 선행 관계 이상(order ideal) 격자 상에서의 결정적 최단 경로 문제로 축소됨을 보입니다. 이때 최적 값과 행동은 유지됩니다. 이러한 축소를 통해 확률적 복잡성은 사라지지만 조합적 복잡성은 여전히 존재합니다. 즉, 최적 순서 결정을 위한 문제는 선행 관계가 없는 경우에도, 단위 비용, 균일한 양수 전이(transfer), 그리고 성공 확률이 최소 1/2인 경우에도 NP-hard 문제를 유지합니다. 이러한 어려움은 모든 경우에 적용되는 것은 아닙니다. 선호하는 전이 관계가 선행 지식과 함께 순환 그래프를 형성하지 않으면, 남은 연관 그래프의 임의의 위상 정렬(topological order)이 최적의 해가 됩니다. 또한, 고정된 선행 관계의 너비는 다항 시간 내에 정확한 동적 프로그래밍을 가능하게 합니다. 계산 가능한 진단 지표인 'mΔ'는 최적화 전에 순서 결정의 가치를 제한합니다. 실제 초급 컴퓨터 과학 강의에서 70,893건의 상호작용 데이터를 분석한 결과, 이 진단 지표는 매우 쉬운 경우를 나타냅니다. 즉, 최적화할 가치가 거의 없고 탐색해야 할 공간도 작습니다. 반면, 의도적으로 설계된 전이 관계에서는 어려운 경우가 발생하며, 이때 단기적인 순서 결정 방식은 큰 후회를 초래하지만, 일관성 있는 휴리스틱을 사용하는 A* 알고리즘은 해당 문제 유형에 대해 선형적으로만 상태를 확장합니다.
생명과학 분야의 인공지능 윤리: 보편성, 문화적 다양성 및 배려를 위한 구조 The ethics of artificial intelligence in the life sciences: Universality, cultural diversity and an architecture of care
생명과학 및 건강 연구는 인공지능의 발전에 힘입어 많은 이점을 얻고 있지만, 이는 실제적인 윤리적 문제들을 야기합니다. 하지만 우리는 이러한 문제들이 인공지능 자체에서 비롯된 특별한 문제는 아니라고 주장합니다. 모든 과학은 인간 뇌가 어떻게 구성되고 사회화되는지에 기반한 가치에 의해 규제되어야 하며, 인공지능의 특수한 요소와는 별개여야 합니다. 중요한 점은 인간 뇌가 현재의 기계보다 훨씬 효율적인 계산 구조를 가지고 있다는 것입니다. 이는 전역 신경망 작업 공간을 통해 이루어지며, 보상은 단순히 극대화할 양이 아니라, 욕구, 선호 및 포만감의 지속적인 순환으로 가장 잘 설명됩니다. 따라서 인간 윤리의 핵심적인 긴장은 윤리적 판단의 보편성과 도덕의 다양성 사이에서 발생합니다. 전역 작업 공간과 감정 관련 뇌 네트워크는 보편적으로 공유되지만, 콘텐츠의 다양성은 물리적, 사회적, 문화적 세계의 특성을 기반으로 결정되며, 이는 모든 개인을 독특하게 만듭니다. 만약 우리가 현재의 비효율적인 보상 극대화 모델이 아닌 이러한 원칙에 따라 기계를 설계한다면, 그 기계의 관리 방식은 억제에서 교육으로 변화할 것입니다. 우리는 그러한 미래를 위한 필수적인 제도를 제시하고, 아직 해결되지 않은 질문들을 다룹니다.
3차원 인간 등록을 위한 정렬된 확산 방법 Ordered Diffusion for 3D Human Registration
3차원 인간 등록은 과거에 회귀 문제로 취급되어 왔으며, 이는 템플릿과 입력 포인트 클라우드 사이에 고유한 정답 정렬이 존재한다고 가정합니다. 그러나 실제로는 획득 과정에서의 노이즈, 가려짐 현상, 그리고 알려지지 않은 연조직 역학은 인간 스캔에 내재적인 모호성을 야기합니다. 결과적으로 회귀 기반 방법은 평균 예측 값으로 수렴하는 경향이 있으며, 이는 종종 현실적인 기하 구조를 제대로 표현하지 못합니다. 본 연구에서는 이러한 불확실성을 활용하여 등록을 정렬의 분포로 모델링합니다. 우리는 ODin이라는 방법을 제안하며, 이는 등록을 3차원 확산 과정으로 정의하여 대상 기하 구조와 일치하는 포인트 클라우드를 생성하면서 일관된 포인트 순서를 통해 템플릿의 의미를 유지합니다. 이를 위해 ODin은 전역적, 지역적, 그리고 위치 정보를 활용하여 각 포인트를 올바른 위치로 이동시킵니다. 실험 결과는 제안하는 생성 모델이 회귀 기반 기준 모델보다 우수한 성능을 보일 뿐만 아니라, 정교하게 설계된 기존 방법들을 능가하며 등록 시간을 3분의 1 수준으로 줄이는 새로운 최고 성능을 달성한다는 것을 보여줍니다. 사전 학습된 모델과 코드는 https://riccardomarin.github.io/odin/ 에서 제공됩니다.
얕은 깊이에서 공유된 고전적인 랜덤성을 통한 유니터리 및 채널 양자 생성 모델 간의 표현적 분리 Representational separation between unitary and channel quantum generative models via shared classical randomness at shallow depth
최근의 양자 하드웨어는 회로 깊이에 제한을 두며 종종 양자 생성 모델에 대해 기하학적으로 국소적인 연결성을 강제하여, 얕은 유니터리 보른 모델이 접근할 수 있는 출력 분포를 제한합니다. 유니터리 양자 보른 모델에 확률성을 도입하면 결과 채널 모델의 실질적인 생성 성능을 향상시킬 수 있으며, 특정 규모의 아키텍처에서 해당 유니터리 모델보다 더 넓은 범위의 분포를 표현할 수 있음이 입증되었습니다. 그러나 그러한 랜덤성이 임의로 큰 시스템에서 고정된 얕은 깊이에서 증명 가능한 분리를 제공하는지 여부는 아직 명확하지 않았습니다. 본 연구에서는 양자 얽힘 이론에서 상대적으로 약한 자원인 공유된 고전적인 랜덤성이, 해당 얕은 유니터리 보른 모델에 대한 엄격하고 확장 가능한 표현적 분리를 확립하기에 충분하다는 것을 보여줍니다. 구체적으로, 우리는 제한된 연결성을 가진 얕은 유니터리 회로에 공간적으로 분산된 로컬 파울리 연산을 추가하고, 이들의 결합 적용은 단일 고전적으로 샘플링된 랜덤 비트에 의해 제어됩니다. 결과적으로 생성되는 얕은 깊이의 채널 모델은 순수하게 유니터리인 얕은 깊이 모델로는 재현할 수 없는 장거리 상관관계를 가진 고전적인 출력 분포를 생성합니다. 특히, 1차원 인접 이웃 아키텍처에서 그러한 분포를 순수하게 유니터리 모델로 재현하려면 최악의 경우 $Ω(N)$의 깊이가 필요할 수 있습니다. 또한, 측정 기반 양자 컴퓨팅 (MBQC)이 적절한 방식으로 랜덤 측정 결과를 활용하여 필요한 공유된 고전적인 랜덤성을 자연스럽게 구현할 수 있음을 보여줍니다. MBQC 기반 생성 모델에 대한 수치 실험 결과는 분석적 결과를 뒷받침합니다.
SSTQ: 서브샘플링된 확률적 터보 양자화를 통한 개인 정보 보호 벡터 양자화 SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant
분산 최적화에서 낮은 통신 비용을 유지하면서 로컬 차등 프라이버시를 달성하는 것은 여전히 어려운 과제입니다. 기존의 벡터 양자화 방법인 vqSGD는 고차원 기하학적 구조를 사용하지만, 바람직하지 않은 차원에 의존적인 분산을 초래합니다. 본 연구에서는 서브샘플링된 확률적 터보 양자화(SSTQ)라는 프레임워크를 제안합니다. SSTQ는 과대포함된 동일 정규 프레임, 좌표 서브샘플링 및 개인 정보 보호를 고려한 1차원 양자화를 결합합니다. SSTQ에는 두 가지 변형이 있습니다. 하나는 플랫 랜덤 응답 버전이고 다른 하나는 메트릭 인지 라플라스 버전이며, 후자가 더 넓은 코드북 비트 폭 범위에 더 적합합니다. 우리는 SSTQ가 프레임 크기 $N = Θ(d)$인 경우 각 클라이언트당 $ ceil rac{ ext{log}_2 N}{ floor} + b$비트만 사용하면서 최적의 평균 제곱 오차 스케일링을 달성한다는 것을 보여줍니다. 또한, 코드북에 의존적인 MSE 스케일링을 $O(4^b)$에서 $O(2^b)$로 줄이는 개인 정보 보호를 고려한 대체 코드북 객관 함수를 유도합니다. 마지막으로, CIFAR-10 및 Fashion-MNIST 데이터셋을 사용한 연합 학습 작업에서 SSTQ를 기존 방법과 비교하여 우수한 성능과 통신 효율성을 입증했습니다.
다중 반복 추론을 위한 체인형 재귀 언어 모델 Chained Recursive Language Models for Multi-Iteration Reasoning
대규모 언어 모델(LLM)에서의 장문 맥락 추론은 일반적으로 단일 추론 경로가 맥락 탐색, 중간 상태 저장, 증거 검증 및 최종 답변 생성이라는 모든 작업을 동시에 수행해야 한다는 제약으로 인해 어려움을 겪습니다. 특히 추출, 계산, 정렬 또는 다단계 추론과 같이 초기 오류가 최종 결과에까지 영향을 미칠 수 있는 작업에서 이러한 어려움은 더욱 두드러집니다. 본 연구에서는 체인형 재귀 언어 모델(Chained RLM)이라는 추론 시점 아키텍처를 제안합니다. 이 아키텍처는 동일한 기본 모델을 일련의 새로운 추론 시작점으로 반복적으로 호출하여 사용합니다. 각 시작점은 원래 문제와 맥락을 입력으로 받지만, 전체 대화 기록을 상속하지 않습니다. 대신, 이전 시작점이 작성한 간결한 텍스트 요약, 텍스트 기반 블랙보드 및 일부 영구적인 작업별 아티팩트를 입력으로 받습니다. 이는 하나의 큰 추론 응답이 아닌 부분적인 작업으로 맥락을 관리하려는 의도를 반영합니다. 각 단계의 계산에서 중간 아티팩트는 동일한 모델에 의해 나중에 수행되는 새로운 추론 과정을 통해 검토, 수정 및 확장될 수 있습니다. 본 연구에서는 이 시스템의 시스템 모델, 핸드오프 메커니즘, 아티팩트 작업 공간 및 평가 프로토콜을 설명합니다. 또한 재귀적 도구 호출을 사용하는 LLM 직접 응답에 비해 신선한 맥락 기반 아티팩트 연장이 정확성 측면에서 유의미한 이점을 제공하는 조건을 분석합니다.
다중 모드 사전 학습의 물리학적 이해를 향하여: 지식 흐름, 모달리티 시너지, 초기 통합 및 실용적인 방법론 Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes
컴퓨터 비전은 기초 모델 발전에 중요한 역할을 하며, 이를 통해 다중 모드를 통합한 사전 학습으로의 전환을 주도하고 있습니다. 하지만, 이러한 발전에도 불구하고, 통일된 학습 과정에서 다양한 모달리티 간의 상호 작용 방식과 설계 공간에 대한 근본적인 이해는 아직 부족합니다. 본 연구에서는 체계적인 탐구를 통해 다중 모드 사전 학습에 대한 경험적 증거를 제공합니다. 합성 데이터와 대규모 실제 데이터를 사용한 통제된 실험을 통해, 다중 모드 사전 학습의 '물리학'에 대한 네 가지 핵심적인 인사이트를 얻었습니다: (i) 지식 흐름: 언어, 시각적 이해 및 시각적 생성 과정에서 각 모달리티가 어떻게 서로 지식을 전달하는지 분석하여, 영향력과 비대칭성이 뚜렷한 패턴을 밝혀냈습니다; (ii) 시너지와 경쟁: 데이터의 '복잡성'이 모달리티 간의 상호 작용이 시너지를 내는지 경쟁적인 관계를 보이는지를 결정하며, 공유 어텐션 및 정규화와 같은 특정 아키텍처 선택이 시너지를 촉진한다는 것을 확인했습니다. 이러한 경향은 다양한 시각적 토크나이저 설계에서도 나타납니다; (iii) 초기 통합: 모달리티를 초기 단계부터 통합하여 동시에 학습하는 것이, 나중에 정렬하거나 순차적으로 학습하는 것보다 효과적입니다. 이 과정에서 '시각적 게으름' 현상이 발견되었는데, 이는 지연된 통합이 모델을 언어 정보에 과도하게 의존하게 만드는 것을 의미합니다; (iv) 실용적인 방법론: 전체 연산 자원의 5%만을 사용하여 강력한 생성 성능을 달성하는 효율적인 사전 학습 방법을 제시했습니다. 이러한 핵심 결과들은 135억 개의 매개변수를 가진 MoE 모델 여러 개를 2조 개의 토큰으로 학습하여 대규모로 검증되었습니다. 본 연구가 다중 모드 사전 학습을 이해하고 확장하는 데 필요한 체계적인 기반을 제공할 수 있기를 바랍니다.
타겟 언어 특성 강화: SAE 기반 다국어 추론 제어 Strengthening Target-Language Features: SAE-Based Steering for Multilingual Inference
다국어 대규모 언어 모델은 언어별 성능 차이가 크며, 기존 적응 방법들은 종종 파라미터 업데이트와 상당한 양의 다국어 학습 데이터를 필요로 합니다. 본 논문에서는 사전 훈련된 희소 자동 인코더(sparse autoencoders, SAE)를 사용하여 타겟 언어 관련 특징을 식별하고 강화하는 추론 시간 기반 다국어 제어 방법을 제안합니다. 다국어 병렬 문장을 활용하여, 각 타겟 언어와 관련된 특정 레이어의 특징을 선택하기 위해 다양한 언어에서의 SAE 활성화를 비교 분석합니다. 이러한 특징들은 제어 신호로 디코딩되어 추가적인 훈련 없이 모델의 숨겨진 상태에 주입됩니다. Gemma-3-12B-it 모델을 사용한 실험 결과, XCOPA에서 평균 정확도가 10.9%p, XNLI에서 5.3%p, MGSM에서 1.9%p 향상되었습니다.
작품 및 사진의 구성 분석을 위한 시각적 표현 학습 Learning visual representations for compositional analysis of artworks and photographs
구성, 즉 시각적 요소들의 의도적인 배치 방식은 예술 작품에서 의미, 감정, 그리고 미적 품질이 전달되는 데 핵심적인 역할을 하지만, 시각적 이해의 여러 측면 중 가장 체계화되지 않은 영역 중 하나입니다. 기존 연구에서는 의미 있는 구성 표현 학습에 있어 지속적인 격차가 존재하며, 이는 의미론적 편향 때문이며, 인간에게 영감을 받은 접근 방식이 중요한 해결책이 될 수 있다고 지적합니다. 본 연구에서는 구성 분석을 위한 두 가지 병렬적인 방법을 비교합니다. 첫 번째는 인지적 그룹핑에 기반한 인간에게 영감을 받은 방법이고, 두 번째는 최근 대규모 구성 데이터셋을 활용하여 미세 조정된 기본 모델입니다. 인간에게 영감을 받은 접근 방식은 객체 중심 모델을 사용하여 영역 수준의 분해를 수행하고, 그래프 어텐션 네트워크를 사용하여 요소 간의 공간적 관계를 파악합니다. 두 가지 방법 모두 구성 점수/범주 예측, 구성 이미지 검색 및 시각적 주의 집중 감지를 위해 평가됩니다. 인코더를 고정했을 때, 인간에게 영감을 받은 방법은 경쟁력 있는 성능을 보이면서도 해석 가능성을 유지합니다. 충분한 데이터가 확보되어 미세 조정을 수행할 수 있을 경우, 대규모 자기 지도 학습 모델은 훨씬 더 뛰어난 성능을 보이지만, 해석 가능성과 다양한 영역으로의 일반화 능력 측면에서는 단점을 가집니다.
스펙트럴 증류: 비선형 동역학에서 선형 상태 공간 모델로 Spectral Distillation: From Nonlinear Dynamics to Linear State-Space Models
비선형 동적 시스템을 직접적인 비볼록 시스템 식별 문제를 해결하지 않고, 간결한 선형 상태 공간 표현으로 학습할 수 있을까요? 본 연구에서는 이를 가능하게 하는 검증 가능한 방법을 제시합니다. 알려지지 않은 비선형 동적 시스템의 관측 데이터를 기반으로, 먼저 관측 스펙트럴 필터링(Observation Spectral Filtering, OSF)이라는 볼록 최적화 기법을 사용하여 암묵적인 스펙트럴 예측기를 학습합니다. 이 방법은 해당 시스템에 대한 최고의 선형 옵서버와 경쟁합니다. 그런 다음, 스펙트럴-LDS 증류를 적용하여 이 예측기를 명시적인 순환 선형 동적 시스템으로 변환합니다. 주요 이론적 결과는 증류된 LDS의 평균 예측 오차가 지수적으로 작은 증류 항과, 최고의 옵서버의 루엔베르거 복잡도에 의해 제어되는 OSF 학습 항으로 분해된다는 것을 보여줍니다. 이 보장은 차원 의존성이 없으며, 비선형 시스템을 표현하는 데 필요한 잠재적 차원이 아닌, 옵서버의 복잡성에 따라 결정됩니다. 본 연구에서는 볼록 학습 후 검증 가능한 증류를 통해 비선형 동역학의 최적의 LDS 표현을 추출하는 최초의 완전한 검증 방법을 제시합니다. 선형 LDS 벤치마크 및 MuJoCo 행동 클론 문제에 대한 실험 결과, 학습 후 증류 단계를 거치는 방법이 직접적으로 학습된 기준 모델과 유사하거나 더 나은 성능의 간결한 LDS 예측기를 생성한다는 것을 보여줍니다.