Numpy Array 数组和 Python List 列表是 Python 程序中间非常重要的数据载体容器，很多数据都是通过 Python 语言将数据加载至 Array 数组或者 List 列表容器，再转换到 Tensor 类型。（为了方便描述，后面将 Numpy Array 数...

无论在深度学习还是传统的视觉处理方案中，最常用图像处理库就是 OpenCV 和 PIL 了。然而，因为 OpenCV 和 PIL 都是不可微的，所以这些处理都只可以作为图像的预处理而无法通过观察梯度的变化来对这些算子进行优化 （gradien...

公报更进一步强调了科技的自立自强，并明确提出到2035年关键核心技术要实现重大突破。这表明，“十四五”期间，科技创新会被提升到一个更高的战略位置，以改变当前对美国技术依赖性强的被动局面，并成为拉动未来经济发展的重要...

混合精度训练（mixed precision training）可以让模型训练在尽量不降低性能的情形下提升训练速度，而且也可以降低显卡使用内存。目前主流的深度学习框架都开始支持混合精度训练。对于PyTorch，混合精度训练还主要是采用NVIDI...

但是注意：对于tensor x，如果有x.numpy()将x转化为numpy数组，则赋值对象为numpy类型，但是x还是tensor！

Hook 实际上在软件工程中相当常见，并不是 PyTorch 所独有的。一般来说，“hook”是在特定事件之后自动执行的函数。在现实世界中，你可能遇到过的一些 hook 的例子:...

损失函数是机器学习里最基础也是最为关键的一个要素，其用来评价模型的预测值和真实值不一样的程度。最为常见的损失函数包括平方损失、指数损失、log 对数损失等损失函数。这里回顾了一种新的损失函数，通过引入鲁棒性作...

目前（至11/7/2020）我们还无法在英伟达 RTX 30 系列 GPU（Ampere）上通过 pip/conda 安装 TensorFlow 或 PyTorch。因为这些 GPU 需要 CUDA 11.1，而当前主流的 TensorFlow/PyTorch 版本不是针对 CUDA 11.1 编译的。现在要在 3...

每一个深度学习项目都是不同的。不管你有多少经验，你总会遇到新的挑战和意想不到的行为。你在项目中运用的技巧和思维方式将决定你多快发现并解决这些阻碍成功的障碍。...

Horovod 是 TensorFlow、Keras、PyTorch 和 Apache MXNet 的分布式深度学习训练框架。Horovod 的目标是使分布式深度学习快速且易于使用。