前言
在使用 Python 的早些年,为了解决 Python 包的隔离与管理 virtualenvwrapper 就成为我的工具箱中重要的一员。后来,随着 Python 3 的普及,virtualenvwrapper 逐渐被 venv 所替换。毕竟 venv 是 Python 3 的标配,优点是显而易见的。而这几年,应用场景的的复杂性越来与高,无论是开发还是部署都需要设置复杂的环境。例如使用 redis 实现消息队列,用 Psycopg 完成对于 PostgreSQL 数据库的存取等等。随之而来 Docker 就变成了程序员必不可少的常备工具。为了掌握如何将我的 Python 应用与 Docker 结合起来,就要学习他人的经验分享。于是一次又一次地看到了下面这样的 Dockerfile 例子:
对于 Docker 基础镜像的要求
为我的 Python 应用构建一个 Docker 镜像并不是要从零开始,而是从现有的 Linux 基础镜像开始构建。这些基础镜像除了提到过的 Alpine 以外 还有我更熟悉的 Ubuntu、Centos 、Debian 等等。在决定选择哪一个之前,我们需要回答的一个问题就是:
- 我们究竟对于这个 Docker 基础镜像有哪些要求?
- 这些要求既要满足通常意义上我们对操作系统的要求,也要满足对于 Python 应用的特殊的需求。
归纳起来,我们的需求应当包括这几点:
- 稳定性:要求今天的构建与以后的构建有相同的基本库、目录结构和基础结构。否则我们的 Python 应用程序将将有可能存在不确定的隐患。
- 安全更新:需要基础镜像得到良好维护,以便及时获取基本操作系统的安全更新
- 最新的依赖关系:除非我们的应用仅仅是一个简单的 Python 程序,否则就不得不依赖操作系统所提供 的库和应用程序(例如:GCC 编译器、OpenSSL 库等)。我们需要这些应用和库要足够新,否则就会有各种安全性的问题或者功能性的不足。
- 丰富的库资源:对于某些应用,可能需要安装一些不太流行的库(例如 lxml 等)。这就需要我们选择的基本镜像提供丰富的库资源。
- 最新的 Python 版本:虽然可以通过自行安装 Python 来解决,但是拥有最新的 Python 的版本无疑可以节省我们的时间、精力。
- 小型的 Docker 镜像:在所有条件都相同的情况下,拥有尺寸较小的 Docker 镜像无疑更胜一筹。无论是镜像的构建还是占用存储空间的开销,更小的尺寸一定更有优势。
考虑到应用部署在产环境的需要,我们所选择的 Docker 镜像还应当具备长期支持(Long-term support, LTS) 的承诺。
长期支持 (英语:Long-term support,缩写:LTS)是一种软件的产品生命周期政策,特别是开源软件,它增加了软件开发过程及软件版本周期的可靠度。长期支持延长了软件维护的周期;它也改变了软件更新(补丁)的类型及频率以降低风险、费用及软件部署的中断时间,同时提升了软件的可靠性。但这并不必然包含技术支持。 – 维基百科
Linux 镜像版本的选择
围绕着上述的需求,我们很容易就会找到一批候选的版本。乍看起来,这些基础镜像应该能够满足我们的需要。接下来我们需要仔细甄别其具体的差异,以找出最适合我们的版本,尤其是适合我们的 Python 应用。
选项一:传统的 Linux 分发版本 – Ubuntu TLS、CentOS 以及 Debian
这三个 Linux 分发版本历史久远(Debian 早在 1993 年就已出现),名气很大,在 Linux 服务器市场上拥有广泛的用户。
- Ubuntu 18.04(Docker 镜像的名字 ubuntu:18.04)发布于 2018 年 4 月,由于这是 Canonical 公司的长期支持版本(LTS),意味着该版本的用户在 2023 年之前都将获得安全更新。
- CentOS 8( Docker 镜像的名字 centos:8 )于 2019 年发布,将在 2024 年前进行全面更新,并在 2029 年前提供维护更新。
- Debian 10(Docker 镜像的名字 debian:buster)发布于 2019 年 7 月,承诺支持到 2024 年。
需要注意的是这些镜像预安装的 Python 有可能不是最新的版本。例如 Ubuntu 18.04 预安装的是 Python 3.6.7,而 Python 3 的最新稳定版本已经升级为 Python 3.8.1。因此我们必须在构建 Docker 镜像的时候去完成 Python 的安装或者升级。在一些特定的 Linux 分发版本中,我们甚至需要自行通过编译 Python 源码的方式来获得最新版本的 Python。例如在 CentOS 8 中,就需要用这个办法来安装 Python3.8。至于具体的办法,可以参考在“Python 3.8 已经来了,你准备好了吗?”一文中的介绍。
https://amazonaws-china.com/cn/blogs/china/python-3-8-is-here-are-you-ready/
选项二:Docker 官方的 Python 镜像
这个 Docker 镜像由 Docker 官方提供。该版本的最大特点就是预装了 Python,并且提供多个不同 Python 版本的选项,例如 Python 3.7、Python 3.8、Python 3.9。需要注意的是,这个版本提供了多个不同的变体,如果搞不清楚这一点很容易在使用中遇到难以预料的问题。这些差异很大的变体包括了:
- Alpine Linux, 关于这个版本,后面会有专门的讨论
- Debian Buster, 这是基于 Debian 的一个分支版本,是基于 Debian 的标准镜像的 Layer 来构建的。特点是基础库很完整,缺点是尺寸较大,磁盘的利用率较低。
- Debian Buster slim,这个版本是针对 Debian Buster 的“瘦身”后的版本。尺寸小,磁盘利用率高是其优点。但是,它缺少通用的包,可能会导致对部分的应用支持不好。
选项三:云计算上的 Linux 镜像 – Amazon Linux 2
今天当我们谈到 Docker 在生产环境中的部署的时候,不能缺少的一个话题就是云计算。相比较起来,云计算上 Linux 以及 Docker 的使用与部署与我们熟悉的传统方式有一些区别。例如安全性的要求、与云计算平台的集成以及管理工具等。于是云计算的平台 Linux 分发版本以及 Docker 镜像也就应需而生。AWS 就提供了 Amazon Linux 的两个版本:Amazon Linux 2 和 Amazon Linux。其中,Amazon Linux 2 是 Amazon Linux 的新一代的 Linux 服务器操作系统版本,这也是 AWS 官方推荐使用的版本。至于选择 Amazon Linux 2 的的理由,简单来说这是一个由 Amazon 提供长期支持的(LTS)、进行了针对性性能优化的、强调安全的、免费的 Linux 分发版本以及 Docker 的镜像。
选项四:Alpine 镜像
很难想象,Alpine 这个 Linux 发行版已经有了 14 年的历史。但广为大家所熟知还是要拜 Docker 的流行所赐。最初,Alpine Linux 是 LEAF 项目(Linux Embedded Appliance Framework Project)的一个分支。LEAF 项目的设计的目标是开发出一个可以放在单个软盘上的 Linux 发行版,而后继的 Alpine 在此基础之上附加了一些更常用的软件包例如 Squid、Samba 等等。因此,Alpine 的典型特征就是“尺寸小”!当然为达成这个目标就要做出妥协。为减少尺寸就不得不放弃我们熟悉的 Linux 环境中最常见的 GNU C Library(glibc)
https://en.wikipedia.org/wiki/GNU_C_Library
取而代之的是一个迷你版的 C 标准库 musl
http://musl.libc.org/
此外,我们常用的 Linux 工具(例如 grep、ls、cp 等等)则采用了 BusyBox 以求进一步压缩空间。这种努力的结果是非常有成效的,alpine:latest 镜像的尺寸只有区区的5.59MB,而与之相对的 ubuntu:18.04 的镜像的尺寸却高达 64.2MB。简单计算下来,Alpine 的磁盘空间的需求只是 Ubuntu 18.04 的 8.7% !
对比 – Docker 基础镜像的尺寸
想象一下,在真实的生产环境中我们部署的 Docker 实例的数量可能成百、上千。考虑到数量的因素,Docker 镜像的尺寸就应当是我们考量的一个重要依据。此外启动一个 Docker 实例我们往往需要在尽可能短的时间内完成,Docker 镜像的尺寸无疑也是一个关键因素。那么,我们就将上面列举的 Docker 镜像在尺寸方面做一个对比 :
测试日期:2020 年 2 月 28 日
Linux 分发版本 | 镜像名称 | 拉取命令 | 尺寸 |
---|---|---|---|
Ubuntu | ubuntu:18.04 | docker pull ubuntu:18.04 | 64.2MB |
Alphine | alpine:latest | docker pull alpine:latest | 5.59MB |
Debian | debian:buster | docker pull amd64/debian:buster | 114MB |
CentOS | centos:8 | docker pull centos:8 | 237MB |
Amazon Linux 2 | amazonlinux:latest | docker pull amazonlinux:latest | 163MB |
Debian | python:3.7 | docker pull python:3.7 | 919MB |
Alphine | python:3.7-slim | docker pull python:3.7-slim | 179MB |
好了,在这一项的测试中名次如下 :
python:3.7 > centos:8 > python:3.7-slim > amazonlinux:latest > debian:buster > ubuntu:18.04 > alpine:latest
如果从这个排名来看 centos 8 无疑表现的差强人意,故被淘汰。从数字来看似乎 alpine 是最好的选择。且慢,我们再来进行下一项测试- 构建时间。
对比 – Docker 镜像的构建时间
在大多数的时间里,我们所使用的 Docker 镜像都需要从基础镜像开始构建。例如下面的这个 Dockerfile 就用来构建一个 Flask 的应用
代码语言:javascript复制# Dockerfile-flask
# Simply inherit the Python 3 image.
FROM python:3
# Set an environment variable
ENV APP /app
# Create the directory
RUN mkdir $APP
WORKDIR $APP
# Expose the port uWSGI will listen on
EXPOSE 5000
# Copy the requirements file in order to install
# Python dependencies
COPY requirements.txt .
# Install Python dependencies
RUN pip install -r requirements.txt
# We copy the rest of the codebase into the image
COPY . .
# Finally, we run uWSGI with the ini file
这种模式带来的问题就是我们不得不考虑构建带来的额外的开销。尤其在一个复杂的项目中,我们需要构建的则不仅仅上面这样简单的场景,复杂的应用往往需要一个较长的构建时间。如果构建时间的开销比较大或者比较复杂,则必然增加了额外的管理、部署以及监控的成本。我的这个测试场景比较简单,只是安装 Python3,以及比较常见的 python 包 numpy、matplotlib 和 pandas。看看每一种 Docker 基础镜像的构建所需的时间是多少。
1、ubuntu:18 , 构建时间 1 分 31.044 秒
代码语言:javascript复制FROM ubuntu:18.04
RUN apt-get update -y &&
apt-get install -y python3.7 python3-pip python3.7-dev
RUN pip3 install --upgrade pip
RUN pip3 install --no-cache-dir numpy matplotlib pandas
2、amazonlinux:2 , 构建时间 30.898 秒
代码语言:javascript复制FROM amazonlinux:latest
RUN yum update -y &&
yum install -y python3 python3-devel
RUN pip3 install --no-cache-dir numpy matplotlib pandas
3、debian:latest , 构建时间 52.237 秒
代码语言:javascript复制FROM debian:buster
RUN apt-get update -y &&
apt-get install -y python3 python3-pip python3-dev
RUN pip3 install --no-cache-dir numpy matplotlib pandas
4、python:latest,构建时间 35.752 秒
代码语言:javascript复制FROM python:3.7
RUN apt-get update -y &&
apt-get install -y python3-pip
RUN pip3 install pip --upgrade
RUN pip3 install --no-cache-dir numpy matplotlib pandas
5、python:3.7-slim, 构建时间 53.475 秒
代码语言:javascript复制FROM python:3.7
RUN apt-get update -y &&
apt-get install -y python3-pip
RUN pip3 install pip --upgrade
RUN pip3 install --no-cache-dir numpy matplotlib pandas
6、alpine:latest ,构建时间 24 分 43.122 秒
代码语言:javascript复制FROM alpine:latest
RUN apk update &&
apk add --no-cache --update
gcc make automake gcc g python3 python3-dev cython freetype-dev
RUN pip3 install --upgrade pip
RUN pip3 install --no-cache-dir numpy matplotlib pandas
测试的结果出来了:
alpine:latest > ubuntu:18.04 > > python:3.7-slim > debian:buster > python:last > amazonlinux:latest
确实没有看错,被我们寄予厚望的 Alpine 镜像的构建时间居然是24 分钟以上。与构建速度最快的 Amazon Linux 2 比较起来足足慢了有24 倍的时间!!
如果细心一些,你会发现这个 Dockerfile 与上面的几个不同,多出了 gcc、make、automake、g 这些与编译工具和几个库。事实上,在我第一次构建的时候遇到了这样的错误信息 :