欢迎来到 DiffSynth-Studio 的文档

文档介绍

• DiffSynth-Studio 文档
  • Section 1: 上手使用
  • Section 2: 模型详解
  • Section 3: 训练框架
  • Section 4: 模型接入
  • Section 5: API 参考
  • Section 6: Diffusion Templates
  • Section 7: 学术导引
  • Section 8: 常见问题

上手使用

• 安装依赖
  • GPU/NPU 支持
  • 其他安装问题
• 模型推理
  • 加载模型
  • 启动推理
  • 加载 LoRA
• 推理加速
  • 高效注意力机制
  • 多卡并行推理
  • 计算图编译
• 显存管理
  • 基础推理
  • CPU Offload
  • FP8 量化
  • 动态显存管理
  • Disk Offload
  • 更多使用方式
  • 选择最佳推理方案
• 模型量化
  • 安装依赖
  • 快速开始
  • 支持的量化方法
  • QuantizeConfig 详解
  • 加载预量化权重
  • 保存量化模型
  • 混合量化
  • 量化 + LoRA 训练
  • 自定义量化后端
  • 量化与显存管理组合
  • 最佳实践
• 模型训练
  • 脚本参数
  • 准备数据集
  • 加载模型
  • 设置可训练模块
  • 启动训练程序
  • 训练注意事项
  • 低显存训练
• 环境变量
  • DIFFSYNTH_SKIP_DOWNLOAD
  • DIFFSYNTH_MODEL_BASE_PATH
  • DIFFSYNTH_ATTENTION_IMPLEMENTATION
  • DIFFSYNTH_DISK_MAP_BUFFER_SIZE
  • DIFFSYNTH_DOWNLOAD_SOURCE
• GPU/NPU 支持
  • NVIDIA GPU
  • AMD GPU
  • Ascend NPU
• 推理 WebUI
  • 启动推理 WebUI
  • 工作原理
  • 使用提示

模型详解

• FLUX
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Wan
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Qwen-Image
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Qwen-Video-Edit
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• FLUX.2
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Z-Image
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Anima
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• LTX-2
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• ERNIE-Image
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• JoyAI-Image
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• ACE-Step
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• HiDream-O1-Image
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Stable Diffusion
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Stable Diffusion XL
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• 图像质量评估指标
  • 安装
  • 快速开始
  • 指标总览
  • 注意事项
• Ideogram 4
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Krea-2
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
  • 许可协议
• Boogu-Image
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• LingBot-Video
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• MiniMax-H3
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• DiffSynth-Music
  • 安装
  • 快速开始
  • 模型概览
  • 模型推理
  • 模型训练
• MiniMax-Music3
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• YuE2
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• SenseNova-U1
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练
• Qwen-Image-2.1
  • 安装
  • 快速开始
  • 模型总览
  • 模型推理
  • 模型训练

训练框架

• Diffusion 模型基本原理
  • 引言
  • 每一步的噪声含量是如何定义的？
  • 迭代去噪的计算是如何进行的？
  • 如何训练这样的 Diffusion 模型？
  • 现代 Diffusion 模型的架构是什么样的？
  • 本项目如何封装和实现模型训练？
• 标准监督训练
  • 框架设计思路
• 在训练中启用 FP8 精度
  • 启用 FP8
  • 训练框架设计思路
• 端到端的蒸馏加速训练
  • 蒸馏加速训练
  • 直接蒸馏
  • 直接蒸馏训练的模型
  • 在训练框架中使用蒸馏加速训练
  • 训练框架设计思路
  • 未来工作
• 两阶段拆分训练
  • 拆分训练
  • 启用拆分训练
  • 计算图拆分算法原理
• 差分 LoRA 训练
  • 训练方案
  • 模型效果
  • 在训练框架中使用差分 LoRA 训练
  • 框架设计思路
• 启用 DeepSpeed
  • 配置训练参数
  • DeepSpeed ZeRO Stage 3
• Offload Training
  • 什么是 Offload Training
  • 方案原理
  • 如何使用
  • 在其他代码库中集成 Offload Training 模块

模型接入

• 接入模型结构
  • Step 1: 集成模型结构代码
  • Step 2: 模型文件格式转换
  • Step 3: 编写模型 Config
  • Step 4: 检验模型是否能被识别和加载
  • Step 5: 编写模型显存管理方案
• 接入 Pipeline
  • __init__
  • from_pretrained
  • __call__
  • units
  • model_fn
  • 编译加速
• 细粒度显存管理方案
  • 20B 模型需要多少显存？
  • 编写细粒度显存管理方案
  • Disk Offload
  • 写入默认配置
• 接入模型训练
  • 训推一致的 Pipeline 改造
  • 编写训练脚本
• 接入量化后端
  • 框架结构
  • 第一步：编写量化 Linear
  • 第二步：编写后端
  • 第三步：编写后端配置
  • 第四步：注册量化方法
  • 第五步：自检
  • 接入检查清单

API 参考

• diffsynth.core.attention: 注意力机制实现
  • 注意力机制
  • 更高效的实现
  • 开发者导引
  • 最佳实践
• diffsynth.core.data: 数据处理算子与通用数据集
  • 数据处理算子
  • 通用数据集
• diffsynth.core.gradient: 梯度检查点及其 Offload
  • 梯度检查点
  • 启用梯度检查点及其 Offload
  • 最佳实践
• diffsynth.core.loader: 模型下载与加载
  • ModelConfig
  • 模型文件加载
  • 模型哈希
  • 模型加载
• diffsynth.core.quant: 模型量化
  • 用户接口
  • 扩展接口：自定义后端
  • 验证工具
• diffsynth.core.vram: 显存管理
  • 跳过模型参数初始化
  • State Dict 硬盘映射
  • 显存管理可替换模块

Diffusion Templates

• Diffusion Templates
  • 模型效果一览
• Diffusion Templates 架构详解
  • 框架结构
  • 模型能力媒介
  • Template 模型格式
• Template 模型推理
  • 在基础模型 Pipeline 上启用 Template 模型
  • Template 模型的 CFG 增强
  • 低显存支持
  • 启用多个 Template 模型
• Template 模型训练
  • 基于预训练 Template 模型继续训练
  • 构建新的 Template 模型

学术导引

• 从零开始训练模型
  • 1. 构建模型结构
  • 2. 构建 Pipeline
  • 3. 准备数据集
  • 5. 验证训练效果
• 推理改进优化技术
  • 1. 图像质量量化
  • 2. Inference-time Scaling 技术
• 魔搭社区 AIGC 系列课程 - 可控生成技术
  • 图像结构控制
  • 数值属性控制
  • 图像编辑
  • 风格控制
  • 训练可控生成模型

常见问题

• 常见问题
  • 为什么训练框架不支持 batch size > 1？
  • 为什么不删除某些模型中的冗余参数？
  • 为什么 FP8 量化没有任何加速效果？
  • 为什么训练框架不支持原生 FP8 精度训练？
  • 如何在推理时动态加载 LoRA 模型？
  • 如何减少训练所需的显存？

Indices and tables

• 索引

• 模块索引

• 搜索页面