最新 最热

张俊林:对比学习「Contrastive Learning」研究进展精要

作者简介:张俊林,现任新浪微博机器学习团队AI Lab的负责人,主要推动业界先进技术在微博的信息流推荐业务落地。博士毕业于中科院软件所,主要的专业兴趣集中在自然语言处理及推荐搜索等方向,喜欢新技术并乐于做技术分享,著有...

2021-07-23
0

炼丹师的自我修养:如何分析训练过程loss异常

在面对模型不收敛的时候,首先要保证训练的次数够多。在训练过程中,loss并不是一直在下降,准确率一直在提升的,会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多(一般上千次,上万次,或者几十个epoch)没收敛,再考虑...

2021-07-23
0

浅谈混合精度训练imagenet

本文没有任何的原理和解读,只有一些实验的结论,对于想使用混合精度训练的同学可以直接参考结论白嫖,或者直接拿github上的代码(文末放送)。

2021-07-23
0

ERC-1155标准规范

本篇文章将对ERC-1155标准规范进行简单介绍,在介绍之前我们先来看一下之前的ERC-20、ERC-721、ERC-777都解决了什么问题,主要应用与那些场景:

2021-07-21
0

tidwall/wal库源码分析

本文是前段时间做一个技术建设项目过程中,技术调研的一个持久化wal的实现库,此库可谓短小精悍,尤其内部数据的组织结构尤为值得一学,下文将重点对其核心功能进行源码分析...

2021-07-19
0

事务前沿研究丨确定性事务

在基于 Percolator 提交协议的分布式数据库被提出的时期,学术研究上还出现了一种叫确定性数据库的技术,在这项技术的发展过程中也出现了各种流派。本文将讲解学术上不同的确定性事务和特点,并综合说说他们的优点和面临的...

2021-07-16
0

负样本的艺术,再读Facebook双塔向量召回算法

Facebook这篇Embedding召回的论文,之前已经有几篇文章涉及过了,分别是《Embeding-based Retrieval in FaceBook Search》、《是"塔"!是"塔"!就是"它",我们的双塔!》和《负样本修正:既然数据是模型的上限,就不要破坏这个上...

2021-07-16
0

节省显存新思路,在 PyTorch 里使用 2 bit 激活压缩训练神经网络

本文将介绍来自加州伯克利大学的 ActNN,一个基于 PyTorch 的激活压缩训练框架。在同样的内存限制下,ActNN 通过使用 2 bit 激活压缩,可以将 batch size 扩大 6-14 倍,将模型尺寸或者输入图片扩大 6-10 倍。ActNN 相关论文...

2021-07-14
0

PHP 传输会话curl函数的实例详解

接手公司项目PC端负责人的重担,责任担当重大;从需求分析,画流程图,建表,编码,测试修bug,上线维护等我一个光杆司令一人完成(当然还有一个技术不错的前端配合,感谢主管的帮助),虽然累点加班多点但感觉还行吧,公司都是一个鸟样。...

2021-07-14
0

批处理框架 Spring Batch 这么强,你会用吗?

spring batch是spring提供的一个数据处理框架。企业域中的许多应用程序需要批量处理才能在关键任务环境中执行业务操作。这些业务运营包括:

2021-07-13
1