怎么建立一个预测模型呢？考虑上一个博客中的机器学习模型训练五大步骤；第一是数据，第二是模型，第三是损失函数，第四是优化器，第五个是迭代训练过程。...

深度神经网络的训练是一件非常困难的事，涉及到很多因素，比如损失函数的非凸性导致的局部最优值、计算过程中的数值稳定性、训练过程中的过拟合等。...

最近开始接触pytorch，从跑别人写好的代码开始，今天需要把输入数据根据每个batch的最长输入数据，填充到一样的长度（之前是将所有的数据直接填充到一样的长度再输入）。 刚开始是想偷懒，没有去认真了解输入的机制，结果一直报错...

当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率应该变得更小来使得模型尽可能接近这一点，而余弦退火（Cosine annealing）可以通过余弦函数来降低学习率。余弦函数中随着x的增加余弦...

，我们都知道，深度学习的话尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的数据都具有不同的分布，显然会给网络的训练带...

首先，此部分也即是讲为什么深度网络会需要 b a t c h n o r m batchnorm batchnorm，我们都知道，深度学习的话尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛...

这里得到的I_pos的维度是**(N,1,1), N个数代表N**张图片的自己与自己的增强图的特征的匹配度。

近日，项目中有一个耗时较长的Job存在CPU占用过高的问题，经排查发现，主要时间消耗在往MyBatis中批量插入数据。mapper configuration是用foreach循环做的，差不多是这样。...

让我们一起面对它，在游戏发开中我们都遇到过这些问题。我们将试着分析新的图形,图像压缩,新代码，这有用吗？这反而会浪费我们大量时间和成本。最终，我们尝试用一些奇葩的解决方案或者直接放弃。...

本文记录pytorch框架中模型的几种状态，主要分为训练和测试两种情况来说。 model.train() 启用 Batch Normalization 和 Dropout。 如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()。mode...