lambda表达式有什么好处？匿名函数，一般用来给filter，map这样的函数式编程服务，map(lambda x: x*2,[1,2,3,4,5])
MirroredStrategy 策略通常用于在一台机器上用多个GPU进行训练。其主要难点就是：如何更新 Mirrored 变量？如何分发计算？本文我们看看其总体思路和如何更新变量。...
在这系列文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。...
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。...
我们在前文介绍过，微软 ZeRO 可以对一个万亿参数模型可以使用 8 路模型并行、64 路管道并行和 8 路数据并行在 4,096 个 NVIDIA A100 GPU 上进行扩展。
本系列会以5～6篇文章，介绍parameter sharding。Parameter sharding 就是把模型参数等切分到各个GPU之上。我们会以 Google，微软和Facebook的论文，博客以及代码来进行分析。...
在spark中，有两种算子，Transformation转换算子和 Action行动算子。Transformation转换算子在整个job任务中，都是一个懒加载，只有真正执行了 Action行动算子的时候，整个job任务才会得到正在的运行。 可以把Transformation转...
数组中的 reduce 犹如一只魔法棒，通过它可以做一些黑科技一样的事情。语法如下：
高阶函数指的是能接收一个或多个函数作为参数的函数，python中有一些内置的高阶函数，在某些场合使用可以提高代码的效率。
