Learn Diffusion

图像生成的基本原理学习教程

本文档原本是我的图像生成学习笔记，但是我将其写成教程形式，希望可以帮到更多人。

本教程按照专题展开。第一个专题是图像生成主线，后续专题会按照各个领域独立地展开。

欢迎任何人阅读。内容包括 VAE, NCSN, DDIM, Score-based Model, Flow Matching, VAR, PixelDiT 以及更多。

欢迎在 Issues 区为我提出建议。

阅读本教程，希望你已经掌握基本的机器学习内容，如梯度下降反向传播等等，以及基本的概率论与多元微积分知识，如期望的计算。

我们开始吧 ：）

前言

前言 Introduction

图像生成的主要方法

第一章 Score Matching 中的 DSM 与 NCSN

第二章 VAE 与 Denoising Diffusion Probabilistic Models

第三章 Denoising Diffusion Implict Models

第四章 Diffusion 与 Score Matching 的统一

第五章 流与 Flow Matching

第六章 神经网络与 Diffusion Transformers

第七章 Flow Matching 配合 DiT 的实现与改进

第八章 Consistency Models 与少步生成

第九章 Visual Autoregressive Models

第十章 回归像素空间的思考与 PixelDiT

少步生成专题

第一章 Unified Continuous Generative Models

第二章 一步生成的 Meanflow

第三章 Improved Meanflow 与 Euler Meanflow

第四章 渐进展开的 Shortcut Models

第五章 理解少步生成与 Riemannian Meanflow

数据集蒸馏专题

第一章 Dataset Distillation 与双层优化

第二章 Gradient Matching 与 Distribution Matching

第三章 Matching Training Trajectories 与计算优化

第四章 MTT 的采样优化与反演式的蒸馏

第五章 拼接式蒸馏与基于 Diffusion 的蒸馏

第六章 潜空间蒸馏与 Prompt 蒸馏

第七章 潜空间内梯度匹配与基于 Guidance 的数据集蒸馏

第八章 使用 HDBSCAN 聚类的 CoDA

第九章 Distribution Matching Distillation

附录

附录 证明与说明