独家 | 教你使用torchlayers 来构建PyTorch 模型(附链接)

2020-05-08 14:43:54 浏览数 (1)

作者:Matthew Mayo

翻译:王琦

校对:和中华

本文约1200字,建议阅读5分钟

本文介绍了torchlayers。torchlayers 旨在做Keras为TensorFlow所做的事情,它提供了更高级的模型构建的API和一些方便的默认值以及附加功能,这些功能对构建PyTorch神经网络很有用。

通过在线搜索的趋势判断(链接:https://trends.google.com/trends/explore?date=today 5-y&geo=US&q=/g/11gd3905v1),PyTorch继续受到人们的普遍关注,更重要的是,PyTorch的使用率在不断提高(链接:https://www.kdnuggets.com/2020/01/openai-pytorch-adoption.html)。PyTorch被认为具有强大而灵活的特点,这些特点让其受到了研究者的欢迎。然而,PyTorch过去因缺乏简化的高级API(例如TensorFlow的Keras) 常常受到从业者的批评。但是这种情况最近已经改变了。

torchlayers(见下面链接) 旨在为PyTorch做Keras给TensorFlow所做的事情。这个项目的开发者简洁地定义了它:

torchlayers是一个基于PyTorch的库,提供了torch.nn层的形状和维度的自动推断以及当前最好的网络结构(例如Efficient-Net)中的构建块。

附链接:

https://github.com/szymonmaszke/torchlayers

与Keras中的操作类似,上述的操作不需要用户干预(除了调用一次torchlayers.build)。

除了上面提到的形状和维度的推断,torchlayers 还包括其他类似Keras的层,例如 torchlayers.Reshape(在改变输入张量形状的同时,保留了批量的维度,见下面链接1),包括之前在 ImageNet 竞赛中见过的最好的层(比如 PloyNet,见下面链接2)。此外,它还提供了一些有用的默认值,例如卷积核的大小(torchlayers的默认值是3)。

附链接:

链接1:https://szymonmaszke.github.io/torchlayers/packages/torchlayers.html?highlight=reshape#torchlayers.Reshape

链接2:https://szymonmaszke.github.io/torchlayers/packages/torchlayers.convolution.html?highlight=polynet#torchlayers.convolution.Poly

使用pip安装非常简单:

代码语言:javascript复制
pip install --user torchlayers  

其他的安装信息(关于Docker 镜像和GPU)可从这里获取(链接:https://szymonmaszke.github.io/torchlayers/#installation)。完整的torchlayers文档可这里获取(链接:https://szymonmaszke.github.io/torchlayers/)。

torchlayers 的GitHub 主页提供了一些例子来展示它的一些功能。我喜欢这个图像和文本分类二合一的例子(见下面链接)!我在下面附上了代码,这例子展示了:

  • torch.nn 和 torchlayers 层的混合使用
  • 形状和维度推断(卷积、线性输入和BatchNorm)
  • 默认的卷积核v大小
  • 卷积的填充默认为 “same”
  • torchlayers池化层的使用(和Keras 相似,全局最大池化)

附链接:

https://github.com/szymonmaszke/torchlayers#simple-image-and-text-classifier-in-one

代码语言:javascript复制
import torch  
import torchlayers as tl  
  
# torch.nn and torchlayers can be mixed easily   
model = torch.nn.Sequential(  
    tl.Conv(64),                   # specify ONLY out_channels  
    torch.nn.ReLU(),               # use torch.nn wherever you wish  
    tl.BatchNorm(),                # BatchNormNd inferred from input  
    tl.Conv(128),                  # Default kernel_size equal to 3  
    tl.ReLU(),  
    tl.Conv(256, kernel_size=11),  # "same" padding as default  
    tl.GlobalMaxPool(),            # Known from Keras  
    tl.Linear(10),                 # Output for 10 classes  
)  

当指定输入形状后(对于上面定义好的模型,图像和文本分类的输入形状如下所示):我们可以用 torchlayers.build(链接:

https://szymonmaszke.github.io/torchlayers/packages/torchlayers.html?highlight=build#torchlayers.build)来构建一个已经定义好的网络。

代码语言:javascript复制
# Image...  
mnist_model = tl.build(model, torch.randn(1, 3, 28, 28))  
  
# ...or text  
# [batch, embedding, timesteps], first dimension > 1 for BatchNorm1d to work  
text_model = tl.build(model, torch.randn(2, 300, 1))  

build与Keras中的工作机制类似,相当于将模型编译为PyTorch原语。它通过post_build 函数提供了一些附加功能(例如权重初始化,如下所示),你可以从这个网页了解更多(链接:https://szymonmaszke.github.io/torchlayers/packages/torchlayers.html?highlight=build#torchlayers.build)。

代码语言:javascript复制
class _MyModuleImpl(torch.nn.Linear):  
    def post_build(self):  
        # You can do anything here really  
        torch.nn.init.eye_(self.weights)  

torchlayers为使用PyTorch来实现类似Keras的模型构建提供了一些有用的功能,并填补了一个明显的空白。时间会告诉我们长期来看该项目会如何发展,但这肯定是一个良好的开端。

相关文章:

  • OpenAI is Adopting PyTorch... They Aren’t Alone 链接:https://www.kdnuggets.com/2020/01/openai-pytorch-adoption.html
  • Gentle Introduction to PyTorch 1.2 链接:https://www.kdnuggets.com/2019/09/gentle-introduction-pytorch-12.html
  • Tokenization and Text Data Preparation with TensorFlow & Keras 链接:https://www.kdnuggets.com/2020/03/tensorflow-keras-tokenization-text-data-prep.html

原文标题:

Build PyTorch Models Easily Using torchlayers

原文链接:

https://www.kdnuggets.com/2020/04/pytorch-models-torchlayers.html

编辑:黄继彦

校对:林亦霖

译者简介

王琦,中国科学院大学研一在读,研究方向是机器学习与数据挖掘。喜欢探索新事物,是一个热爱学习的人。

翻译组招募信息

工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。

转载须知

如需转载,请在开篇显著位置注明作者和出处(转自:数据派ID:DatapiTHU),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱(见下方)。未经许可的转载以及改编者,我们将依法追究其法律责任。

0 人点赞