理解 DDPM 的三种视角

DDPM = 拆楼 + 建楼

  • (1) 损失函数不能用 MSE，而必须用欧氏距离，两者的差别是 MSE 在欧氏距离基础上除以图片的宽 × ×× 高 × ×× 通道数，这会导致损失值过小，部分参数的梯度可能会被忽略为0，从而导致训练过程先收敛后发散
  • (2) 归一化方式可以用 Instance Norm、Layer Norm、Group Norm 等，但不要用 Batch Norm，因为 Batch Norm 存在训练和推理不一致的问题，可能出现训练效果特别好，预测效果特别差的问题
  • (3) 网络结构没有必要照搬原论文，原论文是为了刷 SOTA 发论文，照搬的话肯定是又大又慢的，只需要按照 U-Net 的思路设计自编码器 (e.g. 特征拼接改为相加、去掉了Attention…)，就基本上可以训练出个大概效果了，因为就相当于是个纯粹的回归问题，还是很好训练的
  • (4) 关于参数 t的传入，原论文用了 Sinusoidal 位置编码，直接换为可训练的 Embedding，效果也差不多

    DDPM 综合评价

    优点

  • 容易训练，并且生成的图片也清晰。这个容易训练是相对 GAN 而言的，GAN 是一个 min-max 过程，训练中的不确定性很大，容易崩溃，而 DDPM 就纯粹是一个回归的损失函数，只需要纯粹的最小化，因此训练过程非常平稳

    缺点