新智元报道
来源:外媒
编辑:keyu
【新智元导读】大家有了解过JAX吗?JAX是一种可在CPU、GPU和TPU上运行的“Numpy”,专门针对机器学习研究,并提供高性能自微分计算能力,速度要比纯用Numpy快几十倍!
相信大家对numpy, Tensorflow, Pytorch已经极其熟悉,不过,你知道JAX吗?
JAX发布之后,有网友进行了测试,发现,使用JAX,Numpy运算可以快三十多倍!
下面是使用Numpy的运行情况:
代码语言:javascript复制import numpy as np # 使用标准numpy,运算将在CPU上执行。
x = np.random.random([5000, 5000]).astype(np.float32)
%timeit np.matmul(x, x)
运行结果:
1 loop, best of 3: 3.9 s per loop
而下面是使用JAX的Numpy的情况:
代码语言:javascript复制import jax.numpy as np # 使用"JAX版"的numpy from jax import random # 注意JAX下随机数API有所不同 x = random.uniform(random.PRNGKey(0), [5000, 5000]) %timeit np.matmul(x, x)
运行情况:
1 loop, best of 3: 109 ms per loop
我们可以发现,使用原始numpy,运行时间大概为3.9s,而使用JAX的numpy,运行时间仅仅只有0.109s,速度上直接提升了三十多倍!
是不是很神奇?
那JAX到底是什么?小编我就不卖关子了:
JAX是谷歌开源的、可以在CPU、GPU和TPU上运行的numpy,是针对机器学习研究的高性能自微分计算框架。简单来说,就是GPU和TPU加速、支持自动微分(autodiff)的numpy。
快速入门链接:https://jax.readthedocs.io/en/latest/notebooks/quickstart.html
我们都知道,numpy是Python下的基础数值运算库,应用非常广泛,如果要用Python进行科学计算或者机器学习,没人能够离得了它。
但是,numpy并不支持GPU或者其他硬件加速器,也缺少对backpropagation的内置支持,此外,Python自身也有速度限制,因此,在生产环境下使用numpy训练或者部署深度学习模型的人很少。
不过numpy也有它独特的魅力:底层、灵活、调试方便、API稳定且为大家所熟悉,从而深受研究者的喜爱。
而JAX的主要出发点就是将numpy的以上优势与硬件加速结合,与依赖于预编译核和快速C 代码的Pytorch相比,JAX可以让我们能够在高级接口使用自己最喜欢的加速器进行编写。
在最高层,JAX结合了XLA&Autograd,来加速用户开发的基于线性代数的项目。
Github项目地址:https://github.com/google/jax
此外,入门JAX的过程非常自然简单——许多人每天都在处理numpy的语法和规定,而JAX则大大减少了用户的这些烦恼。
目前,JAX支持在Linux (Ubuntu 16.04或更高版本)和macOS(10.12或更高版本)平台上安装或构建,Windows用户可以通过Windows的Linux子系统在CPU和GPU上使用JAX。
参考链接:
https://roberttlange.github.io/posts/2021/02/cma-es-jax/
https://roberttlange.github.io/posts/2020/03/blog-post-10/
https://jax.readthedocs.io/en/latest/notebooks/quickstart.html
https://www.zhihu.com/question/306496943/answer/1041519580