【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的unsupervised learning-word embedding，这一节将主要针对讨论unsupervised learning-neighbor embedding。本文内容涉及机器学习中无监督学习neighbor embedding的若干主要问题:LLE，Laplacian Eigenmaps以及t-SNE。话不多说，让我们一起学习这些内容吧。
春节充电系列：李宏毅2017机器学习课程学习笔记01之简介
春节充电系列：李宏毅2017机器学习课程学习笔记02之Regression
春节充电系列：李宏毅2017机器学习课程学习笔记03之梯度下降
春节充电系列：李宏毅2017机器学习课程学习笔记04分类（Classification）
春节充电系列：李宏毅2017机器学习课程学习笔记05之Logistic 回归
春节充电系列：李宏毅2017机器学习课程学习笔记06之深度学习入门
春节充电系列：李宏毅2017机器学习课程学习笔记07之反向传播（Back Propagation）
春节充电系列：李宏毅2017机器学习课程学习笔记08之“Hello World” of Deep Learning
春节充电系列：李宏毅2017机器学习课程学习笔记09之Tip for training DNN
春节充电系列：李宏毅2017机器学习课程学习笔记10之卷积神经网络
春节充电系列：李宏毅2017机器学习课程学习笔记11之Why Deep Learning?
春节充电系列：李宏毅2017机器学习课程学习笔记12之半监督学习（Semi-supervised Learning）
春节充电系列：李宏毅2017机器学习课程学习笔记13之无监督学习：主成分分析（PCA）
春节充电系列：李宏毅2017机器学习课程学习笔记14之无监督学习：词嵌入表示（Word Embedding）
课件网址：
http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html
http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html
视频网址：
https://www.bilibili.com/video/av15889450/index_1.html
李宏毅机器学习笔记15 Unsupervised Learning : Neighbor Embedding
之前在PCA中我们介绍了线性降维的方法，今天我们讲述neighbor embedding，即非线性降维的方法。降维凭借的是data point 和data point之间的关系，在降维前的空间中每一个点和它的邻居之间的关系来做降维，也叫做manifold learning。
1.LLE
除了PCA，线性降维方法还有LLE，Xi有一些它的邻居xj,最小化下图的函数，然后找出wij
降维后它们的关系wij是不变的，寻找的新的zi，zj使得下述函数最小
很形象的例子就是下面的两句诗
2.Laplacian Eigenmaps
同样，我们还可以利用图的方法来做降维
在之前semi-supervised learning中，我们已经讲述了图的方法
在unsupervised learning中我们的loss function和在semi-supervised learning中略有不同，我们希望最小化下面的S。但这有一个问题，zi和zj都为0是，S最小，但这明显是不行的，所以我们要增加一些限制。倘若Z的维度为M,所有z做span以后可以填满整个M维空间，这就是限制。
3.t-SNE
之前的方法说如果原来的向量相近，则降维后相近，但可能原来很远的向量维后变得相近。所以提出了t-SNE
t-SNE使得高维相近的低维相近，高维远离的低维远离，用的gradient descent处理 L
t-SNE的实验结果如下
如果想学习更多的知识参考以下文献
后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~
-END-
