最近谷歌元老级人物Eric Schmidt和Maithra Raghu发布了深度学习2020综述《A Survey of Deep Learning for Scientific Discovery》，共有48页pdf，275篇文献，囊括了最新深度学习的进展，集大成者，值得查看！
摘要
在过去的几年里，我们看到了机器学习核心问题的根本性突破，这主要是由深度神经网络的进步推动的。与此同时，在广泛的科学领域中收集的数据无论在规模和复杂性方面都在急剧地增加。综上所述，这为深度学习在科学领域的应用提供了许多令人兴奋的机会。但这方面的一个重大挑战就是知道从哪里开始的。不同深度学习技术的广度和多样性使得很难确定哪些科学问题最适合这些方法，或者哪些特定的方法组合可能提供最有效果的方法。在这篇综述中,我们专注于解决这个核心问题,提供许多广泛使用的深度学习模型的概述,包括视觉、序列和图结构化数据,相关任务和不同的训练方法,随着技术使用较少的数据深度学习和更好的理解这些复杂的模型——两个核心考虑的许多科学的用例。我们还包括对整个设计过程的概述、实现技巧，以及到社区开发的大量教程、研究总结、开源深度学习通道和预训练模型的链接。我们希望这篇综述将有助于加速在不同科学领域使用深度学习。
介绍
在过去的几年里，利用深度神经网络的机器学习取得了非凡的进步。由可用的数据和计算资源的快速增长,这些神经网络模型和令人瞩目的进展,对所建模型的参数,是一种主要从语音识别技术在解决基本任务,复杂的任务在计算机视觉图像分类等(实例)分割,动作识别,和自然语言中存在的问题,包括问答,机器翻译和摘要。这些基本任务中的许多(通过适当的重新制定)与更广泛的领域相关，特别是在帮助研究中心科学问题方面具有巨大的潜力。
在过去的几年里，利用深度神经网络的机器学习取得了非凡的进步。在可用数据和计算资源快速增长的驱动下，这些神经网络模型和算法得到了显著的发展，如在解决基本任务从语音识别, 到复杂的任务在计算机视觉如图像分类、图像分割,动作识别等, 以及自然语言中存在的核心问题,包括问答、机器翻译和提取摘要等主要技术。通过对这些基本任务中的适当的修改可以与更广泛的领域相关，特别是在帮助研究中心科学问题方面具有巨大的潜力。
然而，开始使用深度学习的一个重要障碍是知道从哪里开始。大量的研究文献，加上大量的底层模型、任务和训练方法，使得很难确定哪些技术是最适合去尝试，或者是开始实践它们的最佳方法。
这项综述的目的就是帮助解决这一核心挑战。特别是，它有以下几点属性:
- 综述概述了一个高度多样化的深度学习的概念,如从深层神经网络模型为不同的数据形式(CNN的视觉数据, 图神经网络,RNNs序列数据和 Transformers)的许多不同的关键任务(超分辨率图像分割,序列,序列映射等)的训练深入学习系统的多种方式。
- 但是这些技术的解释都是高质量和简洁的，以确保核心思想能够被广泛的受众所理解，从而使整篇综述能够很容易地从头到尾地阅读。
- 从辅助科学应用的角度，该综述详细描述了(i)使用较少数据的深度学习方法(自我监督、半监督学习等)和(ii)可解释性和表示分析技术(用于不仅限于预测任务)。这是两个引用和快速发展的研究领域，对于可能的科学用例也具有特殊的意义。
这篇综述是为谁做的?我们希望这篇综述对那些对机器学习有基本了解的人特别有帮助，他们有兴趣(i)对许多基本的深度学习概念有一个全面但容易理解的概述，(ii)在帮助提升实践方面的参考和指导。除了深度学习的核心领域外，综述的重点是开发数据较少的深度学习系统的方法，以及解释这些模型的技术，我们希望这些技术对那些有兴趣在科学问题中应用这些技术的人有特别的用处。然而，这些主题和其他许多的主题，以及许多代码/教程/论文参考资料可能对希望学习并实践深度学习的人有帮助。
综述大纲
这篇综述主要内容如下：
- 第2节从高层次使用深度学习的一些考虑开始。具体来说，我们首先讨论了一些模板方法，在这些方法中，深度学习可以应用于科学领域，然后是对整个深度学习设计过程的概述，最后简要讨论了其他可能更适合于某些问题的机器学习核心技术。第一部分可能是那些考虑科学应用的人特别感兴趣的，而后两部分可能是普遍感兴趣的。
- 第3节提供了教程、开源代码模型/算法实现和带有研究论文摘要的网站的参考，这些都是由深度学习社区开发的。本节对许多读者很有帮助，我们鼓励读者浏览所提供的链接。
- 第4节概述了深度学习中的许多标准任务和模型，包括卷积网络及其多种用途、图神经网络、序列模型(RNNs、Transformer)和许多相关的序列任务。
- 第5节介绍了监督学习训练过程的一些关键变体，如迁移学习、领域适应和多任务学习。这些是深度学习的许多成功应用的核心。
- 第6节讨论了提高数据效率的方法，以开发深度神经网络模型，这是一个快速发展的研究领域，也是许多应用的主要考虑的方面，包括科学领域。它涵盖了自我监督和半监督学习的许多变体，以及数据增强和数据去噪方法。
- 第7节概述了在可解释性和代表性分析方面的进展，这是一组关注于深入了解端到端系统内部的技术:识别数据中的重要特性，理解其对模型输出的影响，以及发现模型隐藏表示的属性。这些对于许多强调对预测准确性的理解的科学问题来说是非常重要的，而且可能对诸如帮助模型调试和预先识别故障模式等更广泛的问题有更大的意义。
- 第8节简要介绍了更先进的深度学习方法，特别是生成式模型和强化学习。
- 第9节总结了一些关键的实现技巧，当把一个端到端深度学习系统，我们鼓励可快速阅读!
论文部分截图：
