论文标题:Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize
机构:
- Department of Automation, Tsinghua University, Beijing, China
- LSBDPA Beijing Key Laboratory, Beijing, China
理论背景与研究动机
1. 神经网络的OOD泛化难题
在机器学习系统的部署中，对分布偏移的泛化能力至关重要。然而，尽管深度神经网络结合经验风险最小化（ERM）原则在分布内（ID）泛化表现出色，但它们在分布外（OOD）泛化方面却常常失败。这种失败主要是由于数据变化导致的分布偏移，这些变化在训练数据中没有得到很好的覆盖。例如，预训练模型在测试分布与预训练分布不同时也会表现出性能下降。
2. 现有方法的局限性
近年来，虽然开发了许多旨在提升OOD泛化的算法，但许多算法的有效性仍然受到质疑。例如，一些研究表明，在公平的比较下，没有一种测试算法能显著优于ERM。此外，目前最有效的提高OOD泛化的方法似乎是在更多样化的数据集上进行预训练，但这种方法通过扩展训练分布本质上模糊了“OOD”的概念。此外，理论研究也表明，许多享有理论保证的OOD泛化算法在实践中并不卓越。
这些限制强调了识别和理解OOD泛化背后的基本因素的必要性。尤其是，当前的文献普遍认为OOD泛化失败是由于虚假相关性所致，这一解释启发了近年来设计更好的表示学习目标的算法尝试。然而，尽管这种解释直观，实际上OOD泛化失败在多大程度上由虚假相关性导致仍不清楚，这表明可能还存在一些更主导的因素。
方法详解：特征污染理论模型
1. OOD泛化问题的定义与模型设定
在机器学习中，OOD（Out-of-Distribution）泛化问题描述的是模型在面对与训练数据分布不同的测试数据时的表现问题。这种情况在现实世界中非常常见，因为真实世界的数据往往会随时间、地点等因素发生变化，而这些变化在训练数据中可能未被充分表示。
为了解决OOD泛化问题，我们需要定义一个理论模型来分析和预测模型在面对OOD数据时的表现。在本研究中，我们考虑一个二分类任务，其中输入空间为 (X subseteq mathbb{R}^d)，标签空间为 (Y = {-1, 1})。我们的目标是选择一个模型 (h in H) 来最小化OOD风险，即在所有可能的分布 (D) 上的最坏情况预期风险。
2. 特征污染的形成机理
特征污染是指在学习过程中，即使某些特征与标签无关（即背景特征），神经网络仍然倾向于学习这些特征的现象。这种现象的形成机理与神经网络的训练方式有关，特别是SGD（随机梯度下降）的使用。在训练过程中，即使背景特征与输出标签无关，神经元也倾向于对这些特征产生非零的梯度投影，这导致了特征污染。
此外，特征污染还与神经网络的非线性激活函数有关。非线性激活函数如ReLU使得网络在训练过程中对于不同类别的输入产生不对称的激活，这进一步加剧了特征污染的问题。
3. 神经网络的非线性特性与特征污染
神经网络的非线性特性是特征污染现象的一个关键因素。在使用ReLU等非线性激活函数的网络中，神经元的激活状态对输入的敏感度不同，这导致了在梯度下降过程中对不同特征的不同响应。特别是，即使某些特征（背景特征）与预测任务无关，网络仍可能在这些特征上学习到权重，因为这些特征可能会在网络的预激活中与核心特征（与标签相关的特征）发生耦合。
这种由于非线性激活引起的特征耦合，不仅使得模型在面对ID（In-Distribution，即与训练分布相同的分布）数据时表现良好，同时也可能导致模型在面对OOD数据时性能下降，因为背景特征的分布可能在OOD数据中发生变化，从而影响到核心特征的表达和模型的决策过程。
实验设计与验证
1. 分类任务与回归任务的实验设置
在进行分类任务和回归任务的实验设计中，研究者通常需要考虑数据的生成方式、模型的选择以及训练策略。例如，在理论模型中，我们考虑了一个结构化的二元分类任务，其中数据是从具有一定分布的特征生成的。使用的模型是一个包含ReLU激活函数的两层神经网络，通过随机梯度下降（SGD）进行训练。此外，实验中还包括了一个回归任务，即表示蒸馏，其中网络被训练以预测输入的核心特征向量。
在这些设置中，实验的关键是理解模型在训练数据（ID）和未见过的分布（OOD）上的表现。通过比较不同模型（如线性模型和非线性ReLU模型）在这些任务上的表现，研究者可以评估特定训练策略和模型架构对于泛化能力的影响。
2. 特征污染的实证观察
特征污染是指在学习过程中，神经网络不仅学习与输出标签相关的核心特征，还会学习与标签无关的背景特征。这一现象在实验中得到了观察，尤其是在使用ReLU激活函数的网络中更为明显。例如，在分类任务中，尽管背景特征与标签无关，但网络的权重仍然会对这些特征有所响应，这导致了模型在面对分布变化时的性能下降。
此外，通过对比线性模型和非线性模型的表现，研究表明线性模型不会出现特征污染现象。这是因为在线性模型中，背景特征的影响可以在梯度更新过程中被自然抵消，而非线性模型中的激活函数导致了权重更新对背景特征的敏感性。
通过这些实验观察，我们可以更深入地理解神经网络如何在训练过程中学习特征，以及这些学习行为如何影响模型在新的、未知的数据分布上的表现。这些发现对于设计更好的泛化模型和训练策略具有重要意义。
讨论与启示
1. 特征污染对神经网络泛化能力的影响
特征污染是指在学习核心特征的过程中，神经网络同时学习了与标签无关的背景特征，即使在权重衰减的情况下也是如此。这种现象的原因在于网络中的神经元对不同类别的激活具有不对称性，导致对核心特征子空间和背景特征子空间的梯度投影都是非零的。这最终导致由于核心和背景特征在神经元预激活中的耦合，在分布偏移下带来额外的风险。
研究表明，即使在理想情况下，即训练中明确给出良好的表示，神经网络在分布偏移下的表现仍可能显著下降。这表明仅考虑表示学习目标的影响是不足以理解实践中的OOD泛化问题的，还需要考虑优化中的归纳偏置。
2. 线性网络与非线性网络的比较
在特定的结构化二元分类任务中，理论证明了随机初始化的两层ReLU神经网络在足够的迭代次数后可以实现ID泛化，但却无法实现OOD泛化。这种失败模式与以往的研究不同，即使在背景特征与标签无关的情况下也是如此。这揭示了神经网络的一种基本但未被探索的特征学习倾向，即特征污染。
相比之下，线性网络在这种设置中表现出完全不同的行为，没有表现出特征污染的现象。这表明在处理具有潜在分布偏移的任务时，线性模型和非线性模型之间存在根本的差异。线性模型由于其简单性，在某些情况下可能比复杂的非线性模型更为可靠。
总体来看，这些发现强调了在设计用于OOD泛化的算法和模型时，考虑神经网络的归纳偏置是必要的。此外，这也提示我们在实际应用中可能需要重新考虑使用非线性模型的决策，特别是在预期会遇到分布偏移的情况下。
结论与未来工作方向
1. 特征污染理论的意义与应用
特征污染理论揭示了神经网络在学习核心特征的同时，也会学习与标签无关的背景特征，这一现象在优化过程中导致了特征的非线性耦合。这种耦合最终会在分布偏移情况下增加模型的风险，因为背景特征的变化可能会影响神经元的激活状态，从而影响模型的泛化能力。理解特征污染对于提高深度学习模型在开放世界应用中的健壮性和可靠性至关重要。
此外，特征污染理论为我们提供了一个新的视角来审视神经网络的特征学习过程，补充了现有的关于神经网络诱导偏置的理解，例如简单性偏置等。这有助于我们更全面地理解深度学习模型在面对真实世界复杂数据时的行为模式。
2. 进一步研究的方向与挑战
未来的研究可以在几个方向上进一步深入：
- 理论与实证研究的结合：当前对特征污染的理解主要基于理论分析和控制实验。未来研究需要在更广泛的实际应用场景中验证特征污染理论的普适性和影响，包括不同类型的数据分布和神经网络架构。
- 优化策略的改进：探索新的训练策略来减轻或避免特征污染的影响。例如，研究如何在训练过程中识别和抑制与任务无关的特征学习，或者开发新的正则化技术来促进模型专注于核心特征。
- 特征解耦技术：研究如何通过技术手段在模型的中间表示中显式地解耦核心特征和背景特征，从而提高模型对于分布偏移的鲁棒性。
- 跨领域和跨任务泛化：特征污染理论可能对理解和改进模型在不同任务和领域间的泛化能力提供帮助。研究如何利用特征污染理论来设计能够跨领域泛化的算法。
- 与大规模预训练模型的结合：考虑特征污染理论与当前流行的大规模预训练模型（如GPT和BERT）的结合使用，探索预训练可能带来的特征解耦效应，以及如何利用这些效应来提高模型的OOD泛化能力。
- 论文链接:https://arxiv.org/pdf/2406.03345.pdf
