实践证明，更大的模型在不少场景取得了更好的效果。但随着参数规模的扩大，AI加速卡存储（如GPU显存）容量问题和卡的协同计算问题成为了训练超大模型的瓶颈。流水线并行从模型切分和调度执行两个角度解决了这些问题。本文将...

这两天实在不想动这个东西，想了想还是毕业要紧。稍微跟自己搭的环境结合了一下，对于高维的状态输入可以完成训练（但效果没测试，至少跑通了），并且加入了batch训练的过程，根据伯克利课程说明，加入batch的话会让训练方差减小，提升...

1）离线处理是针对一个批次，这个批次一般情况下都比较大流处理对应的数据是连续不断产生，处理时间间隔非常短的数据

以往CTR（Click-Through Rate、点击率）预估模型更加关注于单个业务场景域（domain）的预测。在淘宝的App中，有多种domains需要用到CTR预估模型，比如首页推荐、猜你喜欢等等。如果每个场景都单独建模，模型的数目会很多，可能有几百...

互联网用户会训练大量在线产品和服务，因此很难区分什么对它们更有兴趣。为了减小信息过载，并满足用户的多样性需求，个性化推荐系统扮演着重要的角色。精准的个性化推荐系统有利于包括publisher和platform在内的需求侧和...

最近工期紧、任务多，没有时间更新博客，就水一期吧。虽然是水，也不能太水，刚好最近工作中遇到一个 sorter 多条件排序的问题，花费了半天时间来定位解决，就说说它吧。...

Mesh网格合并通常是优化中常用的小手段，目的是为了减少drawcall，大量的drawcall会造成CPU的性能瓶颈。例如下图中船只里的钢材货物，由诸多钢材模型堆砌而成。...

2、step划分成多个chunk执行，chunk事务彼此独立，互不影响；chunk开始开启一个事务，正常结束提交

作者丨侯志1摘要目前深度神经网络已经取得了巨大成功，但仍然面临着来自于数据稀缺的各种挑战，比如数据不平衡，零样本分布，域适应等等。当前已经有各种方法通过样本之间的关系去针对这些问题。然而这些方法并没有去挖掘内...

羿阁 编译整理量子位 | 公众号 QbitAIBatch大小不一定是2的n次幂？是否选择2的n次幂在运行速度上竟然也相差无几？有没有感觉常识被颠覆？这是威斯康星大学麦迪逊分校助理教授Sebastian Raschka（以下简称R教授）的最新结论。在...