机器学习工作流的两阶段优化
原文标题：Two-stage Optimization for Machine Learning Workflow
地址： https://arxiv.org/abs/1907.00678
作者： Alexandre Quemy
摘要：机器学习技术在处理海量数据方面起着非常重要的作用，几乎在所有可能的领域都有应用。建立一个高质量的机器学习模型在生产中是一项具有挑战性的任务，无论是学科专家还是机器学习实践者。
为了更广泛地采用和扩展机器学习系统，机器学习工作流的构建和配置需要在自动化方面取得进展。在过去的几年中，有几种技术是朝着这个方向发展的，被称为autoML。
本文提出了建立数据管道和配置机器学习算法的两阶段优化过程。首先，我们研究了数据管道对算法配置的影响，以说明数据预处理在超参数整定中的重要性。第二部分提出了在数据流水线构造和算法配置之间有效分配搜索时间的策略。这些策略与元优化器无关。最后，我们提出了一个度量来确定一个数据管道是特定的还是独立于该算法的，从而能够对冷启动问题进行细粒度流水线剪枝和元学习。
PADé激活单元：深度网络中灵活激活功能的端到端学习 原文标题：Padé Activation Units: End-to-end Learning of Flexible Activation Functions in Deep Networks
地址： https://arxiv.org/abs/1907.06732
作者： Alejandro Molina, Patrick Schramowski, Kristian Kersting
摘要：深度网络学习的性能很大程度上取决于与每个神经元相关的非线性激活函数的选择。然而，确定最佳激活是不容易的，选择取决于体系结构、超参数，甚至取决于数据集。通常，这些激活是在训练前用手固定的。在这里，我们演示了如何通过使用灵活的参数有理函数来消除对第一次选择固定激活函数的依赖。由此产生的Padé激活单位(Paus)既可以近似共同的激活函数，也可以学习新的函数，同时提供紧凑的表示。我们的经验证据表明，使用Paus的端到端学习深度网络可以提高预测性能，并减少普通深度架构的训练时间。此外，Paus还为具有可证明鲁棒性的逼近铺平了道路。
图插值激活提高数据高效深度学习的自然精度和鲁棒精度 原文标题：Graph Interpolating Activation Improves Both Natural and Robust Accuracies in Data-Efficient Deep Learning
地址： https://arxiv.org/abs/1907.06800
作者： Bao Wang, Stanley J. Osher
摘要：提高深度神经网络(DNNs)的准确性和鲁棒性，并使其适应较小的训练数据，是深度学习研究的主要任务。本文用一个基于拉普拉斯图的高维插值函数代替DNNS的输出激活函数(典型的数据无关的Softmax函数)，该函数在连续极限下收敛于高维流形上的Laplace-Beltrami方程的解。此外，我们还提出了这种新架构的端到端训练和测试算法.该DNN融合了深度学习和流形学习的优点。与传统的以Softmax函数作为输出激活的DNN相比，该框架具有以下主要优点：第一，它更适用于不使用大量训练数据而训练高容量DNN的数据高效学习。第二，它显着地提高了清洁图像的自然准确性和对抗性图像的鲁棒准确性，这两种图像都是由白盒和黑盒对抗性攻击构建的。第三，对于可再现性，它是半监督学习的自然选择。
嵌入式系统无批量归一化层的单位/权深卷积神经网络 原文标题：Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
地址： https://arxiv.org/abs/1907.06916
作者： Mark D. McDonnell, Hesham Mostafa, Runchun Wang, Andre van Schaik
摘要：批次归一化(BN)层被认为是当今最先进的深层卷积神经网络中的一种重要的层类型，用于计算机视觉任务的分类和检测。然而，BN层引入的复杂性和计算开销对于实时嵌入式视觉系统(如无人机、机器人和物联网(物联网)设备)的低功耗自定义硬件实现来说是非常不可取的。在培训过程中，当批处理的大小需要非常小时，它们也是有问题的，而且像最近引入的比BN层更多的残余连接可能会减少它们的影响。本文旨在量化BN层在图像分类网络中的优势，并与其他选择进行比较。特别是，我们研究了使用移位层而不是BN层的网络.我们发现，在应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的宽残差网络实验之后，BN层并没有始终提供显著的优势。我们发现BN层提供的精度裕度取决于数据集、网络大小和权值的比特深度。我们的结论是，在BN层由于速度、内存或复杂成本而不受欢迎的情况下，应该考虑使用移位的-relu层；我们发现它们在所有这些方面都可以提供优势，而且通常不会带来很高的精度成本。
一种基于深度学习的多级流数据分析的可扩展框架 原文标题：A Scalable Framework for Multilevel Streaming Data Analytics using Deep Learning
地址： https://arxiv.org/abs/1907.06690
作者： Shihao Ge, Haruna Isah, Farhana Zulkernine, Shahzad Khan
摘要：在速度、数量、价值、多样性和准确性方面数据的快速增长为所有类型的企业带来了令人兴奋的新机遇和巨大挑战。最近，随着商业、医疗、制造和安全领域对决策支持的实时分析需求的增加，开发用于处理连续数据流的系统已经引起了相当大的兴趣。流数据的分析通常依赖于静态或存档数据的离线分析输出。然而，像我们的行业合作伙伴格诺伊特这样的企业和组织，努力向客户提供实时市场信息，并不断寻找一个统一的分析框架，该框架可以无缝地集成流和离线分析，从大量混合流数据中提取知识。本文通过比较先进的可扩展开源技术、分布式技术和内存技术，提出了一种多级流文本数据分析框架的设计方法。通过对语言理解和情感分析的深入学习，给出了多级文本分析用例框架的功能，包括数据索引和查询处理。我们的框架结合了用于实时文本处理的模型、用于更高层次情感分析的长期短期内存(Lstm)深度学习模型，以及用于基于SQL的分析处理的其他工具，为多级流文本分析提供了一种可扩展的解决方案。
无特征集检测早产儿脑电图突发事件的机器学习 原文标题：Machine learningwithout a feature set for detecting bursts in the EEG of preterm infants
地址： https://arxiv.org/abs/1907.06943
作者： John M. O'Toole, Geraldine B. Boylan
摘要：深度神经网络可以直接对数据进行学习，而无需构造特征集所需的领域知识。这种方法在几乎所有机器学习应用程序中都非常成功。我们提出了一个新的框架，它也可以直接从数据中学习，而不需要提取特征集。我们将此框架应用于早产儿脑电图的检测。脑电图记录在出生后几天内，一组婴儿，没有明显的脑损伤，出生后不到30周的妊娠期。该方法首先将时域信号转换为时频域，然后在时间-频率分布的每个时间切片上训练出一种机器学习方法，即梯度增强机。我们控制过采样的时频分布，显着地降低了内存和计算复杂度(<1%)。该方法的精度与现有的多特征方法相似：特征曲线下面积为0.98(95%置信区间为0.96~0.99)，中位灵敏度为95%，中位特异性为94%。该框架提供了一个准确、简单和计算效率高的实现，作为深度学习方法和手动生成特征集的替代方法。
利用深度学习提高显微CT图像的分辨率和纹理恢复 原文标题：Boosting Resolution and Recovering Texture of micro-CT Images with Deep Learning
地址： https://arxiv.org/abs/1907.07131
作者： Ying Da Wang, Ryan T. Armstrong, Peyman Mostaghimi
摘要：数字岩石成像受到探测器硬件的限制，必须在图像视场(FOV)和图像分辨率之间进行权衡。这可以通过采用宽视场、低分辨率(LR)图像和高分辨率(HR)、高视场(FOV)图像的超分辨率(SR)技术进行补偿。增强的深超分辨率生成性对抗性网络(EDSRGAN)是在深度学习数字岩石超分辨率数据集上进行培训的，这是一个12000多个原始和处理的UCT图像的汇编。与双三次插值相比，网络的相对误差降低了50%~70%。与SRCNN等方法相比，GaN在纹理恢复方面表现出更好的视觉相似性。差分图表明，SRGAN网络的SRCNN段恢复了大尺度边缘(晶界)特征，而GaN网络恢复了难以分辨的高频纹理。网络性能随着增强而得到推广，对噪声和模糊有很强的适应性。将HR图像输入网络，生成HR-SR图像，将网络性能外推到HR图像本身的亚分辨率特征。结果表明，溶解矿物和薄裂缝等低分辨率特征被再生，尽管网络运行在训练的规格之外。与扫描电镜图像的比较表明，细节与样品的基本几何形状是一致的。纹理的恢复有利于高分辨率微孔特征的数字岩石的特征，如碳酸盐和煤样品。通常受岩石矿物学(煤)、快速瞬变成像(水驱)或源能量(微孔隙度)限制的图像可以被超精确地解析，以便进一步分析下游。
基于神经语言模型的弱监督早期谣言检测训练数据增强 原文标题：Neural Language Model Based Training Data Augmentation for Weakly Supervised Early Rumor Detection
地址： https://arxiv.org/abs/1907.07033
作者： Sooji Han, Jie Gao, Fabio Ciravegna
摘要：训练数据的稀缺性和等级不平衡是当前谣言检测任务中存在的问题。我们提出了一种直接的、通用的数据增强技术，它有利于基于事件传播模式的早期谣言检测。关键的想法是利用社交媒体上大量的未标记事件数据集来增加有限的有标签的源推文。本工作是基于最近的谣言研究揭示的谣言传播模式和标记数据与未标记数据之间的语义相关性。使用最先进的神经语言模型(NLM)和以可信度为中心的大型twitter语料库来学习流言推文的上下文敏感表示。在我们的实验中，我们使用了六个不同的真实世界事件，基于三个可公开获取的谣言数据集，对该方法的有效性进行了比较评价。结果表明，该方法能够将现有的谣言数据集的规模扩大近200%，并能使相应的社交语境(即会话线程)扩展100%，并具有合理的质量。基于最先进的基于深度学习的谣言检测模型的初步实验表明，增强后的数据可以缓解由于有限的训练数据造成的过度拟合和类不平衡，并有助于训练复杂的神经网络(Nns)。通过增加数据，可以使谣言检测的F值提高12.1%。我们的实验还表明，增强训练数据可以帮助推广对未见谣言的谣言检测模型。
巴赫涂鸦：可实现的大规模机器学习音乐创作 原文标题：The Bach Doodle: Approachable music composition with machine learning at scale
地址： https://arxiv.org/abs/1907.06637
作者： Cheng-Zhi Anna Huang, Curtis Hawthorne, Adam Roberts, Monica Dinculescu, James Wexler, Leon Hong, Jacob Howcroft
摘要：为了使音乐创作更加平易近人，我们设计了第一个人工智能驱动的谷歌涂鸦，巴赫涂鸦，用户可以创造自己的旋律，并通过机器学习模式CoNet(Huang等人，2017)协调巴赫风格。为用户输入旋律，我们设计了一个简化的基于乐谱的界面.为了支持规模上的交互体验，我们重新实现了tensorFlow.js(Smilkov等人，2019年)的cocoNet，使其在浏览器中运行，并通过采用扩展的深度可分卷积和融合操作，将运行时从40年代减少到2s。我们还通过训练后的权重量化，将模型下载大小减少到大约400 KB。我们校准了一个基于部分模型评估时间的速度测试，以确定协调请求是在本地执行还是发送到远程TPU服务器。在三天内，人们花了350年时间玩巴赫涂鸦，CoCoNet收到了超过5500万个查询。用户可以选择对他们的组合进行评分，并将其贡献到公共数据集中，这是我们与本文一起发布的。我们希望该数据集对从民族医学研究、音乐教育到改进机器学习模式的应用都有帮助。
量子版分类决策树构造算法C5.0 原文标题：The Quantum Version Of Classification Decision Tree Constructing Algorithm C5.0
地址： https://arxiv.org/abs/1907.06840
作者： Kamil Khadiev, Ilnaz Mannapov, Liliya Safina
摘要：本文重点研究了C5.0算法构造决策树分类器的复杂性，该算法是机器学习分类问题的模型。在经典案例中，决策树是在O(hd(NM N原木N))运行时间M是很多课程，N是训练数据集的大小，d是每个元素的许多属性，h是一棵树高。首先，我们对经典版本进行了改进，新版本的运行时间为O(h⋅d⋅N原木N)..其次，我们提出了该算法的量子版本，它使用了基于Grover算法的振幅放大和D{ürr-H{o}yer最小搜索算法等量子子程序。量子算法的运行时间是O(h⋅d−−√原木d⋅N原木N)这比经典算法的复杂度要好。
声明：Arxiv文章摘要版权归论文原作者所有，由本人进行翻译整理，未经同意请勿随意转载。
