OpenAI 的 GPT-3 是一个令人印象深刻的深度学习模型，但是它有 1750 亿个参数，相当占用资源。尽管有不同的估计，但是这种规模的模型在一个 GPU 上的训练需要数百年。...

讲多了算法，如何真正将算法应用到产品领域？本文将带你从0用深度学习打造一个视觉AI的微型处理器。文章含完整代码，知识点相对独立，欢迎点赞收藏，跟着本文做完，你也可以做一个自己的嵌入式AI小产品！...

今日，特斯拉 AI 总监、Autopilot Vision 团队领导人 Andrej Karpathy 在推特上发文，对 AI 领域正在进行中的融合（consolidation）表示惊叹。

因为最近跑VIT的实验，所以有用到timm的一些配置，在mixup的实现里面发现labelsmooth的实现是按照最基本的方法来的，与很多pytorch的实现略有不同，所以简单做了一个推导。...

本系列介绍分布式优化器，分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。本文介绍PyTorch 分布式优化器和PipeDream之中的优化器，主要涉及模型并行（流水线并行）。...

本系列介绍分布式优化器，分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。

我们接下来通过几篇文章来看看分布式优化器。本系列分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。...

PyTorch社区最近有一种声音：下个版本应该抛弃Python改用Julia语言。

12月2日，英伟达发布了最新的TensorRT 8.2版本，对10亿级参数的NLP模型进行了优化，其中就包括用于翻译和文本生成的T5和GPT-2。

在典型的机器学习和深度学习项目中，我们通常从定义问题陈述开始，然后是数据收集和准备（数据预处理）和模型构建（模型训练），对吧？但是，最后，我们希望我们的模型能够提供给最终用户，以便他们能够利用它。模型部署是任何机器学习项目...