当前深度学习技术主要是data driven的，即对一个特定任务来说，只要增加训练数据的规模，深度学习模型的表现就可以得到提高。但是发展到今天，这种思路面临很多挑战。主要面临下面几个问题：
- 很多领域（如医疗，教育），很难获取大量的监督数据或者数据的标注成本过高。
- 训练数据规模再大，也有难以覆盖的情况。例如聊天机器人，你不可能穷尽所有可能的答案。而且很多答案，也是随时间变化的（例如明星年龄，配偶）。因此仅仅依靠大规模的训练语料，并不能解决这些问题。
- 通用深度学习模型，直接应用到具体问题，表现（效果，性能，占用资源等）可能不尽如人意。这就要求根据特定的问题和数据，来定制和优化深度学习网络结构。这个是当前研究最多最热的地方。
- 训练的问题。包括网络层数增加带来的梯度衰减，如何更有效的进行大规模并行训练等等。
为了解决上面的问题，当前的研究前沿主要包括以下几个方向：
- 引入外部知识(如知识图谱,WordNet) Knowledge-Based Semantic Embedding for Machine Translation A Neural Knowledge Language Model
- 深度学习与传统方法的结合。
- 人工规则与神经网络的结合 Harnessing Deep Neural Networks with Logic Rules
- 贝叶斯与神经网络的结合 Human-level concept learning through probabilistic program induction(论文讲的是用贝叶斯让机器模仿人写字的，但是对深度学习有非常大的启发价值）
- 迁移学习与神经网络的结合
- 强化学习与神经网络的结合 Mastering the game of Go with deep neural networks and tree search
- 图模型与神经网络的结合 Bidirectional LSTM-CRF Models for Sequence Tagging A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues
- 无监督的深度生成模型。 Generative Adversarial Networks
- 新的网络结构 Highway Networks Neural Turing Machines End-To-End Memory Networks Deep Residual Learning for Image Recognition Mollifying Networks
- 新的训练方法 Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift
从具体研究方向上来说，我觉得深度学习在图像和语音上已经非常成熟，因为图像信号和语音信号，都是比较原始的信号，从原始信号中抽取特征对人比较困难，但对深度学习模型比较容易，因此深度学习技术率先在这两个领域取得巨大成功。而NLP领域，因为文字是一种high level的信息，而且从文字到语义，存在一个比较大的语义鸿沟，因此深度学习技术在NLP上存在很大的挑战，但是挑战也意味着机会，因此除了传统NLP领域的研究人大量开始发力深度学习，许多其他领域的人（如机器学习，统计），也开始向NLP进军（Bengio组的人开始搞机器翻译，语言模型，对话系统等等）。
谷歌DeepMind最新论文：用记忆增强神经网络改善One-shot Learning 一些具有增强记忆功能的架构，比如说神经图灵机（Neural Turing Machines, NTMs），提供了快速编码和读取新信息的能力，因此能够有可能避免常规模型的下降趋势。在这篇论文中，我们证明了记忆增强神经网络（MNNNs）可以快速吸收新数据，并且仅利用少数几个例子就可以从从数据中做出准确预测。我们同时介绍了一种新的方法，来获取一种关注存储内容的外部存储，这区别于之前的模型，它们需要额外使用基于位置的存储来关注机制。
～～～～～～～～～～～ 摘录一些杨强教授在“2016全球人工技术大会（GAITC）暨人工智能60年纪念活动启动仪式上发表的演讲，我们可以看到他对人工智能未来发展的认识。 杨强教授指出，搜索和学习的结合才是人工智能的发展方向。我们不能完全依靠机器去全部自动化自我学习，机器学习的弊端是自我偏差，目前仍需要人为干预。未来，迁移学习会是这个问题的解决途径。迁移学习还能让人工智能得以摆脱对大数据的严重依赖 深度神经网络的成功就使得我们能够在不同的层次来观察同一个数据，同样就可以获得我们所谓的大局观。 强化学习应该说是用来做人工智能规划的有力工具，但不是唯一的工具。这个领域相对深度学习应该说更古老，研究的力度也很多。但在很长时间处于静默状态，这个原因是因为它在计算上有很大的瓶颈，不能有很大的数据量。一个例子就是强化学习在很长时间以来只能解决一些玩具型的问题，非常小的数据。 最近的Google的DeepMind，把深度学习和强化学习合在一起，这样的一个议题使得很多强化学习所需要突破的瓶颈，就是状态的个数能隐藏起来。这种隐藏就使得强化学习能够大规模应对数据。它突出的一点叫做端到端的学习，所以强化学习也是下一个突破。 AlphaGo对我们的启示，就是我们把［搜索和学习］两者结合起来，才是一个完整的智能机器。这个我们可以叫做人工智能的通用性，也就是说我们对于这两个技术的某种结合，比方说多一点搜索，少一点机器学习。 目前我们不能完全依靠机器去全部自动化自我学习，至少到现在我们还没有摸索出这样一个路径。是因为机器学习有一个很严重的现象，就是自我偏差，这种偏差可以体现在统计学的一个重要概念中，就是我们获得的数据也许是一个有偏数据，我们可能建了一个模型，对大部分的数据都有用，但其中有一些特例。我们如何来处理这些特例，如何来处理我们训练数据和应用数据之间的偏差，这是我们下一步要研究的内容。 一个非常有希望的技术叫做迁移学习，， 深度模型可以把它反转，成为一种生成模型。它不仅可以去对数据做一个决策，它还可以自己产生新的数据的那些图像给描述出来 如果我们达到了迁移学习的要点，我们想问下一步是不是可以把所有人类经历过的这些学习任务给沿着时间轴串起来，能够让机器像人一样，学习能力和智能随时间在不断增长。那么它所需要学习的努力程度，样本数也是逐渐减少的。这也是我们在努力的一个方向 最近发表的一篇文章也说明了迁移学习的重要性。这篇文章叫做 bayesian program learning（单个例学习），这是从一个例子就能学会，我们知道深度学习是有千万个例子的。实际上它用了我们过去没有涉及到的概念，就叫做结构，如果我们了解了一个问题的结构，那么这个结构的一个具体形式只用一个例子就可以学会了。其他的部分，需要很多例子的那一部分可能是参数、统计，这一部分我们实际上可以通过迁移学习来学习。也就是说这个圆就圆满了，就是一个闭环了。看到这么多人工智能的，有失败的时候，有成功的时候，我们到现在能总结出什么经验呢？我觉得现在的人工智能的成功离不开高质量的大数据，但是并不是未来人工智能的成功一定需要大数据。那么我们下面要问是不是在未来有小数据也可以让人工智能成功？大数据开疆拓土、更多的应用和更多的计算能力确实来自于工业。人才培养、小数据研究则依靠学界。这两者结合是我们今后发展的一个方向。 强化学习比大家想象的要更有用，它不仅仅是在围棋或者是在计算机游戏上有用。在金融、在我们日常生活当中，甚至在教育上，机器人的规划都离不开强化学习。 我们明天要看到的应该是迁移学习，因为迁移学习能够让我们把大数据得到的模型迁移到小数据上面，使得千千万万的人都能够受益，人人都能享受人工智能带来的红利
机器学习/强化学习 组合优化：
1.首先，我们要用ML/RL求解什么COP问题：
最直观的：约束很好处理且可以刻画成多步决策，同时reward可以比较容易在各步决策进行分解的COP。其他问题见下图
2.看看走哪条路可以选择深挖方法/攻克难点--
方法：不同表示方法 value/policy-based RL方法混搭、不同RL方法与不同search方法混搭、用RL构造超启发式算法、不同RL方法 分枝定界、HRL用来做迁移且底层先过滤掉性质不好（不满足约束）的解空间、MARL、RL 模仿学习/课程学习、RL 约束规划/逻辑推理
难点：
对于约束复杂、目标函数非线性的问题，MARL的各个智能体间的分工、通信和整合、credit assignment
或奔着实现某个目的去-RL处理鲁棒优化/动态COP（少有人做）、硬约束、用RL减少搜索空间、课程学习/终生学习逐步解决困难/多级COP和COP的迁移
