最新 最热

【论文阅读】ALBERT:A lite BERT for self-supervised learning of language representations

authors:: Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut container:: International conference on learning representat...

2022-10-31
5

快速入门Python机器学习(25)

tures=False, oob_score=False, warm_start=False, n_jobs=None, random_state=None, verbose=0)

2022-09-23
1

Science Bulletin | 气溶胶是导致全球数值天气预报模型中气温预报偏差的关键因素

Aerosol as a critical factor causing forecast biases of air temperature in global numerical weather prediction models

2022-09-23
1

SIGIR'22「腾讯」HIEN:用于点击率预估的分层意图embedding学习

特征交互建模和用户兴趣建模方法是 CTR 预测中的两个热门领域,现有方法存在两方面的不足。

2022-09-19
1

激光检测 Laser Measurement

线性模型假设,物体在运动时,每段时间间隔中速度恒定。实际上,每次测量时间之间的间隔是不定的,物体的加速也是不定的

2022-07-06
1

文献阅读:Should You Mask 15% in Masked Language Modeling?

这篇文章算是一篇偏预训练过程的基础研究性质的文章,考察了一下Devlin et al等在bert预训练当中提出提出的mask法则,即mask掉15%的token是否是最优的选择,然后对于mask的内容,80-10-10原则是否真的有效并且可以提供正向的...

2022-04-13
1

推荐系统遇上深度学习(一二九)-基于物品属性的用户关注列表序列推荐

今天给大家带来的是WSDM 2022上eBay中稿的一篇文章,题目为《Sequential Modeling with Multiple Attributes for Watchlist Recommendation in E-Commerce》。过往的序列推荐或者行为序列建模,更关注的是在物品层面的偏...

2022-04-06
1

【姿态估计】开源 | HRFormer:为密集的预测任务学习高分辨率表示

论文地址: http://arxiv.org/pdf/2110.09408v3.pdf

2022-04-06
1

当我在微调的时候我在微调什么?

从 BERT 开始,预训练模型(PLMs)+微调(finetune)已经成为了NLP领域的常规范式。通过引入额外的参数(新的网络层)和特定任务的目标函数,PLMs在该任务的数据集下经过finetune后,总能取得评价指标上的提升,甚至达到SOTA。...

2022-04-01
2

​HOG特征也可以作为图像重建的目标!FAIR&JHU提出新的one-stage自监督预训练模型MaskFeat!

在本文中,作者提出了用于视频模型自监督预训练的掩蔽特征预测(Masked Feature Prediction,MaskFeat)。本文的方法首先随机掩蔽输入序列的一部分,然后预测掩蔽区域的特征。...

2022-03-11
1