获取完整原文和代码，公众号回复：10050747070
论文地址： http://arxiv.org/pdf/2106.08704v1.pdf
代码： 无
来源： University of Houston
论文名称：Memorization and Generalization in Neural Code Intelligence Models
原文作者：Md Rafiqul Islam Rabin
内容提要
深度神经网络(DNN)在软件工程和代码智能任务中得到越来越广泛的应用。这些是强大的工具，能够通过数百万个参数从大型数据集中学习高度概括的模式。与此同时，DNN的容量大，容易记忆数据点，因此训练DNN就像走刀子一样困难。虽然传统上认为这是过度训练的一个方面，但最近的研究表明，当训练数据集有噪声且记忆是唯一的求助方式时，记忆风险表现得尤其明显。不幸的是，大多数代码智能任务依赖于相当容易产生噪音和重复的数据源，如GitHub，由于其庞大的规模，无法手动检查和评估。我们评估了神经编码智能模型的记忆和泛化趋势，通过一个跨几个基准和模型家族的案例研究，利用来自使用DNN的其他领域的已建立的方法，如在训练数据集中引入目标噪声。除了加强先前关于DNN记忆程度的发现，我们的结果还清楚阐明了训练中噪声数据集的影响。
主要框架及实验结果
声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。
