diffusion-engineering

分类: 数据与AI | 上传者: AnastasiyaW | 下载: 0 | 版本: v1.0（最新）

扩散模型的实用工程：架构、训练、推理、内存优化。用于具有扩散模型的任何任务：设计或修改架构（UNet/DiT/Flow/Flux）、调度器/采样器的选择和配置、附加训练（LoRA/DreamBooth/完全微调）、内存优化（AMP/检查点/ZeRO/FSDP/量化）、文本编码器的替换或融合（CLIP/Qwen）、使用扩散器、调试扩散管道、质量评估（FID/CLIPScore/LPIPS）、潜扩散、VAE、引导/CFG、整流流、稳定扩散、SDXL、通量。在训练生成模型、文本到图像管道、ControlNet、多编码器融合、WebDataset 时询问有关 GPU 内存的问题时也可使用。 --- # 扩散工程技能 ## 快速定位最影响质量/速度/成本的三个工程决策是： 1. **扩散在哪里** → 像素（昂贵）或潜在空间（LDM/SD 系列 - 实用） 2. **降噪器的骨干** → UNet（经典，更简单）或 Transformer/DiT/Flow（缩放更好） 3. **采样控制** → 调度程序、步骤数、guiding_scale - 通常提供的不仅仅是编辑网络 --- ## 参考文件 - 按任务读取 |主题 |文件|何时阅读 | |---|---|---| |架构和数据流| `references/architectures.md` | DDPM/SDE/LDM/DiT/Flux/VAE/SDXL，管道图| |调度程序和指导| `references/samplers.md` | DDIM/Euler/Heun/DPM-Solver/PNDM、CFG、预测类型 | |培训和进修| `参考文献/training.md` |损失/目标、LoRA/DreamBooth/full FT、超参数 | |内存和分布| `引用/内存.md` | AMP、检查点、ZeRO、FSDP、量化、FP8 | |文本编码器和数据 | `references/encoders-data.md` | CLIP/Qwen/多编码器、标记化、数据管道 | |评估和故障排除 | `references/eval-debug.md` | FID/CLIPScore/LPIPS、典型故障和修复、许可证 | --- ## 快速清单“我正在构建/修改 diffusio n» - [ ] **Backbo

更新日志: Source: GitHub https://github.com/AnastasiyaW/claude-code-skills

目录结构

当前层级: tree/main/skills/ai-ml/diffusion-engineering/

📁 references/
- 📄 architectures.md 8.0 KB
- 📄 encoders-data.md 11.3 KB
- 📄 eval-debug.md 12.4 KB
- 📄 memory.md 8.5 KB
- 📄 samplers.md 7.0 KB
- 📄 training.md 9.3 KB
📄 SKILL.md 4.7 KB

SKILL.md

---
name: diffusion-engineering
description: >
  Практическая инженерия диффузионных моделей: архитектуры, обучение, инференс,
  оптимизация памяти. Использовать при любых задачах с диффузионными моделями:
  проектирование или модификация архитектуры (UNet/DiT/Flow/Flux), выбор и настройка
  schedulers/samplers, дообучение (LoRA/DreamBooth/full fine-tune), оптимизация памяти
  (AMP/checkpointing/ZeRO/FSDP/quantization), замена или fusion текст-энкодеров (CLIP/Qwen),
  работа с Diffusers, отладка диффузионных пайплайнов, оценка качества (FID/CLIPScore/LPIPS),
  latent diffusion, VAE, guidance/CFG, rectified flow, Stable Diffusion, SDXL, Flux.
  Также применять при вопросах про GPU-память при обучении генеративных моделей,
  text-to-image пайплайны, ControlNet, multi-encoder fusion, WebDataset.
---

# Diffusion Engineering Skill

## Быстрая ориентация

Три инженерных решения, которые больше всего влияют на качество/скорость/стоимость:

1. **Где идёт диффузия** → пиксели (дорого) или латентное пространство (LDM/SD-семейство — практично)
2. **Backbone денойзера** → UNet (классика, проще) или Transformer/DiT/Flow (масштабируется лучше)
3. **Управление сэмплингом** → scheduler, число шагов, guidance_scale — часто дают больше, чем правка сети

---

## Reference files — читать по задаче

| Тема | Файл | Когда читать |
|---|---|---|
| Архитектуры и data flow | `references/architectures.md` | DDPM/SDE/LDM/DiT/Flux/VAE/SDXL, схема пайплайна |
| Schedulers и guidance | `references/samplers.md` | DDIM/Euler/Heun/DPM-Solver/PNDM, CFG, prediction_type |
| Обучение и дообучение | `references/training.md` | Loss/цели, LoRA/DreamBooth/full FT, гиперпараметры |
| Память и распределённость | `references/memory.md` | AMP, checkpointing, ZeRO, FSDP, quantization, FP8 |
| Текст-энкодеры и данные | `references/encoders-data.md` | CLIP/Qwen/multi-encoder, токенизация, data pipeline |
| Оценка и траблшутинг | `references/eval-debug.md` | FID/CLIPScore/LPIPS, типовые поломки и фиксы, лицензии |

---

## Быстрый чеклист «я строю/модифицирую diffusion»

- [ ] **Backbone:** UNet (проще) или DiT/Flow (масштабирование)?
- [ ] **Модули зафиксированы:** tokenizer → text encoder → `encoder_hidden_states` → denoiser → VAE decode
- [ ] **Scheduler выбран:** DDIM / Euler / DPM-Solver — A/B на фиксированных seed
- [ ] **Дообучение:** начинать с LoRA, в full fine-tune только при необходимости
- [ ] **Память:** AMP включён, при необходимости checkpointing, при масштабе ZeRO/FSDP
- [ ] **Данные:** стриминг/шардинг (HF streaming, WebDataset), валидировать throughput dataloader
- [ ] **Оценка:** FID + CLIPScore + LPIPS + human rating; отдельно дневник промптов для overfitting

---

## Trade-offs на один экран

| Ручка | Увеличить | Уменьшить |
|---|---|---|
| `num_inference_steps` | ↑ качество | ↑ время |
| `guidance_scale` (CFG) | ↑ adherence к промпту, риск «пережога» | ↑ разнообразие |
| LoRA rank | ↑ выразительность | ↑ параметры, риск overfitting |
| Шаги дообучения | ↑ адаптация | ↑ риск catastrophic forgetting |
| Batch size | ↑ стабильность градиентов | ↑ VRAM |

---

## Мини-рецепты по бюджету GPU

| Бюджет | Что делать |
|---|---|
| **8–16 GB (1 GPU)** | LoRA вместо full FT; grad accumulation; BF16/FP16; xFormers/SDPA; 8-bit оптимизатор |
| **24–48 GB (1–4 GPU)** | LoRA или partial FT; иногда FSDP; большее разрешение |
| **8+ GPU, H100** | Full FT, ZeRO-3/FSDP, float8, WebDataset стриминг, масштабный датапайплайн |

登录后下载/点赞/收藏 ❤ 6 | ★ 0

diffusion-engineering

目录结构

SKILL.md

举报内容

提示