主成分分析是最常用的一种降维方法。我们首先考虑一个问题：对于正交矩阵空间中的样本点，如何用一个超平面对所有样本进行恰当的表达。容易想到，如果这样的超平面存在，那么他大概应该具有下面的性质。...

做模型的同学基本都会使用tensorflow，不知道大家是否会像我一样对tensorflow的模型存储感到疑惑：各种模型保存的方法、保存出的模型文件名称和结构还不一样、加载模型的时候有的需要重新定义一遍计算图而有的不需要、有...

这里lambda表示特征向量v所对应的特征值。并且一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解为下面的形式：

导语：对于做算法的而言，了解一下整个流程是必要的。一来加深对整个环节的理解，二来：方便在定位badcase的知道可能是那块的问题所在。

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路。

设f(x)是二次可微实函数，又设$x^{(k)}$是f(x)一个极小点的估计，我们把f(x)在$x^{(k)}$处展开成Taylor级数， 并取二阶近似。

LDA是一种概率主题模型：隐式狄利克雷分布（Latent Dirichlet Allocation，简称LDA）。LDA是2003年提出的一种主题模型，它可以将文档集中每篇文档的主题以概率分布的形式给出。通过分析一些文档，我们可以抽取出它们的主题（分布），根...

线性支持向量机是一个用于大规模分类任务的标准方法。。它的损失函数是合页（hinge）损失，如下所示

回归是一种很容易理解的模型，就相当于y=f(x)，表明自变量x与因变量y的关系。最常见问题如医生治病时的望、闻、问、切，之后判定病人是否生病或生了什么病，其中的望、闻、问、切就是获取的自变量x，即特征数据，判断是否生病就...

数据决定了任务的上限，模型方法决定达到上限的能力。在这里想借助信息熵的一些概念来对数据的重要性做一些分析，将数据的分布差异度量出来，并据此得到特征对于分类的重要性度量。 对于特征的重要性的分析不适合放到特征...