我们都知道在手工调试模型的参数的时候，我们并不会每次都等到模型迭代完后再修改超参数，而是待模型训练了一定的epoch次数后，通过观察学习曲线(learning curve, lc) 来判断是否有必要继续训练下去。那什么是学习曲线呢？主...

FBNetV2: https://arxiv.org/abs/2004.05565

value/timescale = seconds计算出代表的时间（秒） value代表分子 timescale代表分母 flags代表状态（通过位掩码实现） epoch 暂不清楚

这次的albert某种程度上可能比bert本身更具有意义，恰逢中文预训练模型出来，还是按照之前的数据来做NER方面的fine-tune

最近何恺明团队在arXiv 上公布了他们发表在CVPR 2020 上的最新论文《Designing Network Design Spaces》[1]。和何恺明之前发表的大多数论文一样，一经公布，迅速得到众人的关注。知乎上迅速有人提出问题：“如何评价何恺明...

Sharding (分片) 是 eth2 对于 eth1 的诸多改进之一，此术语源自数据库研究，一个分片 (shard) 代表着一个更大整体的一部分。在数据库和 eth2 中，分片意味着将整个系统的存储和计算分到多个分片 (shards) 中，每个分片将单...

https://blog.csdn.net/aaronjny/article/details/103806954

批归一化用处很多。它可以改善损失分布（loss landscape），同时还是效果惊人的正则化项。但是，它最重要的一项功能出现在残差网络中——大幅提升网络的最大可训练深度。...

深度学习模型，尤其是深度卷积神经网络（DCNN），在多个计算机视觉应用中获得很高的准确率。但是，在移动环境中部署时，高昂的计算成本和巨大的耗电量成为主要瓶颈。而大量使用乘法的卷积层和全连接层正是计算成本的主要贡献者。...

本文介绍我们最新的工作《Progressive Local Filter Pruning for Image Retrieval Acceleration》，采用剪枝方法解决深度网络图像检索的加速问题。