信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。本文介绍基本概念。 信息信息是用来消除事情的不确定性的，不确定性的减少量等于**信息的信息量。*...

本文记录岭回归角度进行线性回归的方法。 问题描述 考虑一个线性模型 {y}=f({bf{x}}) 其中y是模型的输出值，是标量，bf{x}为d维实数空间的向量 线性模型可以表示为:f(bf{x})=bf{w} ^Tx,win mathbb{R}线性回归的任...

本文介绍正定矩阵和半正定矩阵。 定义 正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。 正定给定一个大小为n times n 的实方...

在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量...

本文记录伽马分布。 整数次数的伽马分布 若事件服从泊松分布，泊松分布参数为lambda，则事件第i 次发生和第i+k 次发生的时间间隔t的分布为伽玛分布。 概率密度函数p(t ; lambda, k)=frac{t^{(k-1)} lambda^{k} e^{(-...

本文记录指数分布。 简介 在概率理论和统计学中，指数分布（也称为负指数分布）是描述泊松过程中的事件之间的时间的概率分布，即事件以恒定平均速率连续且独立地发生的过程。 这是伽马分布的一个特殊情况。 它是几何分布的连...

本文记录泊松分布。 泊松分布假设已知事件在单位时间 (或者单位面积) 内发生的平均次数为 lambda, 则泊松分布描述了：事件在单位时间 (或者单位面积) 内发生的具体次数为 k 的概率。概率质量函数： p(X=k | lambda)=...

标准拉普拉斯分布的0.99分位点是3.91，而标准正态分布是2.32，这说明，服从拉普拉斯分布的随机变量，出现极端大的值的概率，要远远大于正态分布。

keras支持Lambda可以实现数据自定义处理操作，本文记录切割、截取网络层数据Lambda层实现方法。 需求 需要在网络层中选取某层，截取其中部分特征，用于模型的特征处理。 切割函数def cut_map(x,index): return x[:, ind...

由于异构计算的硬件特性，CUDA中以下操作是相互独立的，通过编程，是可以操作他们并发地执行的：