ICCV 2023 SVDiff论文解读

ICCV 2023: SVDiff: Compact Parameter Space for Diffusion Fine-Tuning

1. 论文信息

2. 引言

本论文致力于研究如何有效地微调大规模文本到图像的扩散模型，以实现模型的个性化和定制化。作者在研究背景部分提到，近年来基于扩散的文本到图像生成模型得到了广泛的关注和快速发展。这些模型能够根据文本提示生成具有令人印象深刻的真实性和多样性的高质量图像。同时，也有许多研究在探索如何更好地利用这些模型的能力进行图像编辑，以及如何释放这些模型在特定任务或根据个人用户偏好的更大潜力。

然而，尽管现有的方法取得了一些成果，但仍然面临着一些挑战和问题。特别是在微调这些模型时，由于模型参数空间庞大，可能会导致过拟合，使模型失去原有的泛化能力。此外，当需要模型学习多个相似或相关的个性化概念时，现有方法也显得比较困难和不够有效。

为了解决这些问题，本论文提出了一种新颖的方法。首先，作者引入了“spectral shift”这一概念，通过仅微调模型权重矩阵的奇异值来实现一个更紧凑和高效的参数空间。这种方法的灵感来自之前在 GAN 领域的一些研究，旨在减少过拟合的风险，并保持模型的泛化能力。其次，为了帮助模型更好地学习和区分多个个性化概念，论文还提出了一种名为“Cut-Mix-Unmix”的数据增强技术，通过丰富训练数据的多样性，增强模型在多个相似类别之间进行区分的能力。

综合运用这两种策略，本论文提出的方法不仅能够有效地缓解过拟合和泛化能力下降的问题，还能够提高模型在学习和适应多个相似个性化概念方面的能力。这为大规模文本到图像扩散模型的微调提供了一种新的、更加高效和实用的解决方案，为未来在此方向的进一步研究和探索提供了有价值的参考。

3. 方法

3.1 Preliminary

在这一部分，论文主要介绍了两个基础概念：扩散模型（Diffusion models）和 GANs 的紧凑参数空间中的少样本适应（Few-shot adaptation in compact parameter space of GANs）。

扩散模型（Diffusion models）

本文实验中使用的StableDiffusion模型是潜在扩散模型（LDMs）的一个变体。LDMs 通过编码器

mathcal{E}

将输入图像

转换成潜在代码

，其中

z = mathcal{E}(x)

，并在潜在空间

mathcal{Z}

中执行去噪过程。LDM

hat{epsilon}_theta

是通过去噪目标进行训练的，具体来说，其目标函数如所示：

mathbb{E}_{z,c,epsilon,t} { | hat{epsilon}_theta(z_t | c, t ｜ - epsilon |_2^2 }

在这里，

(z, c)

是数据-条件对（图像潜在特征和文本嵌入），

epsilon sim mathcal{N}(0, I)

，

t sim text{Uniform}(1, T)

，且

theta

代表模型参数。

2. GANs 的紧凑参数空间中的少样本适应

本部分介绍了一种基于奇异值分解（SVD）技术的方法（FSGAN），用于在少样本情况下适应 GANs。具体来说，FSGAN 首先将 GAN 的卷积核重新整形为2-D矩阵，并在这些重新整形的权重矩阵上执行 SVD。然后，FSGAN 利用 SVD 学习 GAN 参数空间中的紧凑更新，用于新领域的适应。此方法的目的是利用 SVD 在有限的样本中更有效地进行领域适应。

通过这两个基础概念，我们可以更好地理解作者如何在紧凑的参数空间中利用奇异值分解（SVD）技术对扩散模型进行微调和优化。

3.2 Compact Parameter Space for Diffusion Fine-tuning

该部分主要介绍了如何在扩散模型的参数空间中引入“spectral shifts”的概念，进行模型的微调（Fine-tuning）。

Spectral Shifts

本方法的核心思想是将FSGAN中的“spectral shifts”概念应用于扩散模型的参数空间。首先，对预训练扩散模型的权重矩阵执行奇异值分解（SVD）。权重矩阵

的 SVD 表示为

W = USigma V^top

，其中

Sigma

是对角矩阵，包含降序排列的奇异值

sigma = [sigma_1, sigma_2, ...]

。执行SVD是一次性计算，可以被缓存。这种思路是受到将卷积核视为线性关联记忆的启发。补丁级卷积可以表示为矩阵乘法，形如

f_{out} = W_{f_{in}}

，其中

f_{in}

是平坦化的补丁特征，

f_{out}

是对应于给定补丁的输出预激活特征。

在微调过程中，不是调整完整的权重矩阵，而是仅通过优化“spectral shift”，

delta

，来更新权重矩阵。

delta

被定义为更新的权重矩阵和原始权重矩阵的奇异值之间的差异。更新的权重矩阵可以通过以下方式重新组合：

W_{delta} = U Sigma_{delta} V^top text{ where } Sigma_{delta} = text{diag}(text{ReLU}(sigma delta))

Training Loss

微调使用与训练扩散模型相同的损失函数进行，附加了一个加权的先验保留损失（weighted prior-preservation loss）：

mathcal{L}(delta) = mathbb{E}_{z^*,c^*,epsilon,t}{|hat{epsilon}_{theta_delta}(z_t^* | c^*) - epsilon|^2_2} lambda mathcal{L}_{pr}(delta)

3.3 Conditional Diffusion for C2-GAN

本部分介绍了如何将条件扩散模型与GAN结合，形成一个新的生成模型（C2-GAN）。具体来说，作者首先根据样本从目标分布生成条件样本。然后，生成的条件样本被用作先验信息，驱动扩散过程生成样本。

生成条件样本

C2-GAN的条件模型是由一个扩散编码器

mathcal{E}

和一个GAN解码器

组合而成的。扩散编码器

mathcal{E}

是预训练的，并且对目标数据进行微调。解码器

是一个标准的GAN生成器。

驱动扩散过程

利用条件样本

(z, c)

和噪声

epsilon

驱动扩散过程。扩散过程的目标是最小化以下损失函数：

mathcal{L}_{cd} = mathbb{E}_{z,c,epsilon,t}{|hat{epsilon}_{theta}(z_t | c) - epsilon|_2^2}

其中，

z_t

是由条件样本和噪声驱动的扩散过程中的中间潜在代码。

4. 实验

实验对 SVDiff在各种任务如单主题/多主题生成、单图像编辑和消融等方面进行了评估。在单主题生成部分，SVDiff与 DreamBooth（对完整模型权重进行微调）产生了相似的结果，尽管其参数空间较小。然而，与 Custom Diffusion 相比，SVDiff有更好的性能，后者在训练图像方面表现出欠拟合的倾向。

在多主题生成部分，实验展示了提出的 "Cut-Mix-Unmix" 数据增强技术的优势。用户研究的结果显示，使用 SVD 的 "Cut-Mix-Unmix" 方法生成的图像在视觉质量上得到了更多的青睐，被选为更好图像的频率为60.9%。

在单图像编辑部分，实验结果表明，SVDiff通过使用频谱移位参数空间有效地缓解了语言漂移问题。与完整模型权重微调相比，即便在不使用 DDIM 反演时，SVDiff也能实现所需的编辑，如删除图片中的对象、调整对象的姿态和缩放视图等。综合而言，SVDiff在各种任务中都表现出了良好的性能和强大的编辑能力。

该研究在分析和消融研究部分探讨了参数子集、权重组合、插值和风格混合的影响。

参数子集：
- 研究探讨了在UNet中微调光谱偏移的子参数集。他们发现优化交叉注意力（CA）层通常能更好地保持主题的身份识别，相较于仅优化关键和值投影。
- 独立优化UNet的上、下或中间块不足以保持身份，但上块显示了更好的身份保持。
权重组合：
- 他们分析了权重组合的效果，研究发现合并模型在两种情况下都能保持个体主题的独特特点，但在相似的概念上可能会混合他们的风格。
- 对于不同的概念，模型仍然能产生每个主题的单独表示。
风格转移和混合：
- 研究展示了使用所提出的方法进行风格转移的能力。他们还显示了通过求和两组光谱偏移，他们的风格可以被混合。
- 通过进一步的实验，他们发现我们的光谱偏移参数空间允许我们实现类似于StyleGAN的解耦风格混合效果。
插值：
- 研究展示了光谱偏移和全权重插值的结果。他们发现，光谱偏移和全权重插值都能够在两个原始类别之间生成中间概念。
与LoRA的比较：
- 在与LoRA的比较中，他们发现，相比于LoRA，SVDiff在保持真实性和保真度之间提供了更好的平衡，并且结果在delta检查点大小上显著较小。