Kubernetes 1.21引入Indexed Jobs特性

2021-04-21 15:38:29 浏览数 (1)

作者:Aldo Culquicondor(谷歌)

一旦你将一个非并行作业(Job[1])容器化,就很容易在 Kubernetes 上启动并运行它,而无需修改二进制文件。在大多数情况下,当运行并行分布式作业时,你必须设置一个单独的系统来在工作资源之间划分工作。例如,你可以设置一个任务队列,将一个工作项分配给每个 Pod[2],或将多个项分配给每个 Pod,直到队列清空为止[3]

Kubernetes 1.21 版本引入了一个新的字段来控制作业完成模式,这是一个配置选项,允许你控制 Pod 完成如何影响作业的总体进度,有两个可能的选项(目前):

  • NonIndexed(默认值):当成功完成的 Pods 的数量等于.spec.completions 中指定的数量时,作业被认为是完成的。换句话说,每一个 Pod 的完成都是彼此同源的。在引入完成模式之前创建的任何作业都是隐式非索引的。
  • Indexed:当有一个成功完成的 Pod 与从 0 到.spec.completions-1 的每个索引相关联时,作业被认为是完成的。该索引暴露于每一个 Pod 中的 batch.kubernetes.io/job-completion-index 注释和 JOB_COMPLETION_INDEX 环境变量。

你可以开始使用带有索引完成模式的作业,简称为索引作业(Indexed Jobs),来轻松启动并行作业。然后,每个 worker Pod 可以根据索引有一个静态分配的数据分区。这使你不必设置排队系统,甚至不必修改二进制文件!

创建索引作业

要创建一个索引作业,你只需添加 completionMode: Indexed 到作业规范中,并使用 JOB_COMPLETION_INDEX 环境变量。

代码语言:javascript复制
apiVersion: batch/v1
kind: Job
metadata:
  name: 'sample-job'
spec:
  completions: 3
  parallelism: 3
  completionMode: Indexed
  template:
    spec:
      restartPolicy: Never
      containers:
      - command:
        - 'bash'
        - '-c'
        - 'echo "My partition: ${JOB_COMPLETION_INDEX}"'
        image: 'docker.io/library/bash'
        name: 'sample-load'

注意,完成模式是 1.21 版本中的一个 alpha 特性。为了能够在集群中使用它,请确保在 API 服务器和控制器管理器上启用了 IndexedJob 特性门。

当你运行该示例时,你将看到三个创建的 Pods 中的每一个都获得了不同的完成索引。为了方便用户,控制平面设置 JOB_COMPLETION_INDEX 环境变量,但是你可以选择设置自己的或将索引暴露为文件。

请参阅带静态工作分配的并行处理索引作业[4],了解逐步指南和更多示例。

计划

SIG Apps 设想可能有更多的完成模式,为 Job API 启用更多的用例。我们欢迎你在kubernetes/kubernetes[5]中提出你的建议。

特别是,我们正在考虑一种 IndexedAndUnique 模式,其中索引不仅作为注释可用,而且是 Pod 名称的一部分,类似于 StatefulSet。这应该有助于紧密耦合的 Pod 之间的通信。你可以参加这个公开问题[6]的讨论。

总结

索引作业(Indexed Jobs)允许你在并行作业的作业之间静态地划分作业。SIG Apps 希望这个特性能够促进更多的批量工作负载迁移到 Kubernetes。

参考资料

[1]

Job: https://kubernetes.io/docs/concepts/workloads/controllers/job/

[2]

将一个工作项分配给每个 Pod: https://kubernetes.io/docs/tasks/job/coarse-parallel-processing-work-queue/

[3]

将多个项分配给每个 Pod,直到队列清空为止: https://kubernetes.io/docs/tasks/job/fine-parallel-processing-work-queue/

[4]

带静态工作分配的并行处理索引作业: https://kubernetes.io/docs/tasks/job/indexed-parallel-processing-static/

[5]

kubernetes/kubernetes: https://github.com/kubernetes/kubernetes

[6]

公开问题: https://github.com/kubernetes/kubernetes/issues/99497

0 人点赞