解释：就是使用os.environ["CUDA_VISIBLE_DEVICES"] = "1"后，后面使用起来仍然是cuda0.

在深入探讨 PyTorch 中的 Storage 类以及其在参数 offload 场景中的应用之前，让我们首先了解一下 PyTorch 和它的基础组件。PyTorch 是一个广泛使用的开源机器学习库，它不仅提供了强大的计算图功能和自动梯度计算，还允许...

自动微分模块是PyTorch中用于实现张量自动求导的模块。PyTorch通过torch.autograd模块提供了自动微分的功能，这对于深度学习和优化问题至关重要，因为它可以自动计算梯度，无需手动编写求导代码。torch.autograd模块的一些...

在搭建网络模型时，掌握对张量形状的操作是非常重要的，因为这直接影响到数据如何在网络各层之间传递和处理。网络层与层之间很多都是以不同的 shape 的方式进行表现和运算，我们需要掌握对张量形状的操作，以便能够更好处理...

用于处理数据样本的代码可能很快就会变得混乱且难以维护。理想情况下，为了获得更好的可读性和模块化，我们希望处理数据集的代码与模型训练代码分离。...

书接前文，我们了解了 —— # 刹车与油门：PyTorch Autograd 的赛车之旅，如文所说，自动微分是 PyTorch 深度学习框架的核心。既然是核心，就需要敲黑板、划重点学习。同时，带来另外一个重要的数学概念：雅可比向量积。...

作为软件开发人员，我们经常假设特定代码的性能仅由代码本身和运行它的硬件决定。这种假设让我们在优化代码以获得更好性能时感到有控制力。虽然在大多数情况下这种假设是正确的，但本文旨在探讨挑战这种控制观念的现象。...

torch.compile是加速 PyTorch 代码的最新方法！torch.compile通过将 PyTorch 代码 JIT 编译成优化的内核来使 PyTorch 代码运行更快，同时需要最少的代码更改。