【容器云架构】确定projectcalico最佳网络选项

大图

了解 Calico 支持的不同网络选项，以便您可以根据需要选择最佳选项。

价值

Calico 灵活的模块化架构支持广泛的部署选项，因此您可以选择适合您特定环境和需求的最佳网络方法。这包括使用各种 CNI 和 IPAM 插件以及底层网络类型以非覆盖或覆盖模式运行的能力，无论是否使用 BGP。

概念

如果您想全面了解可供您选择的网络，我们建议您确保熟悉并理解以下概念。如果您想跳过学习并直接获得选择和建议，您可以跳到网络选项。

Kubernetes 网络基础知识

Kubernetes 网络模型定义了一个“平面”网络，其中：

• 每个 pod 都有自己的 IP 地址。
• 任何节点上的 Pod 都可以在没有 NAT 的情况下与所有其他节点上的所有 Pod 通信。

这创建了一个干净、向后兼容的模型，从端口分配、命名、服务发现、负载平衡、应用程序配置和迁移的角度来看，Pod 可以被视为虚拟机或物理主机。可以使用网络策略来定义网络分段，以限制这些基本网络功能内的流量。

在此模型中，支持不同的网络方法和环境具有很大的灵活性。网络实现的具体细节取决于所使用的 CNI、网络和云提供商插件的组合。

CNI 插件

CNI（容器网络接口）是一个标准 API，它允许不同的网络实现插入 Kubernetes。每当创建或销毁 pod 时，Kubernetes 都会调用 API。有两种类型的 CNI 插件：

• CNI 网络插件：负责在 Kubernetes pod 网络中添加或删除 pod。这包括创建/删除每个 pod 的网络接口以及将其连接/断开与网络实现的其余部分的连接。
• CNI IPAM 插件：负责在创建或删除 Pod 时为其分配和释放 IP 地址。根据插件的不同，这可能包括为每个节点分配一个或多个 IP 地址 (CIDR) 范围，或从底层公共云网络获取 IP 地址以分配给 Pod。

云提供商集成

Kubernetes 云提供商集成是特定于云的控制器，可以配置底层云网络以帮助提供 Kubernetes 网络。根据云提供商的不同，这可能包括自动将路由编程到底层云网络中，以便它本机知道如何路由 pod 流量。

Kubenet

Kubenet 是一个非常基础的网络插件，内置在 Kubernetes 中。它不实现跨节点网络或网络策略。它通常与云提供商集成一起使用，在云提供商网络中设置路由以在节点之间或在单节点环境中进行通信。 Kubenet 与 Calico 不兼容。

覆盖网络（Overlay networks）

覆盖网络是分层在另一个网络之上的网络。在 Kubernetes 的上下文中，覆盖网络可用于处理底层网络之上节点之间的 pod 到 pod 流量，该网络不知道 pod IP 地址或哪些 pod 在哪些节点上运行。覆盖网络通过将底层网络不知道如何处理的网络数据包（例如使用 pod IP 地址）封装在底层网络知道如何处理的外部数据包（例如节点 IP 地址）中来工作。用于封装的两种常见网络协议是 VXLAN 和 IP-in-IP。

使用覆盖网络的主要优点

是它减少了对底层网络的依赖。例如，您可以在几乎任何底层网络之上运行 VXLAN 覆盖，而无需与底层网络集成或对底层网络进行任何更改。

使用覆盖网络的主要缺点是：

• 轻微的性能影响。封装数据包的过程占用少量 CPU，数据包中用于编码封装（VXLAN 或 IP-in-IP 标头）所需的额外字节减少了可以发送的内部数据包的最大大小，进而可以意味着需要为相同数量的总数据发送更多数据包。
• pod IP 地址不可在集群外路由。更多关于这下面！

跨子网覆盖

除了标准的 VXLAN 或 IP-in-IP 覆盖外，Calico 还支持 VXLAN 和 IP-in-IP 的“跨子网”模式。在这种模式下，在每个子网中，底层网络充当 L2 网络。在单个子网内发送的数据包不会被封装，因此您可以获得非覆盖网络的性能。跨子网发送的数据包被封装，就像普通的覆盖网络一样，减少了对底层网络的依赖（无需与底层网络集成或对底层网络进行任何更改）。

就像标准覆盖网络一样，底层网络不知道 pod IP 地址，并且 pod IP 地址不能在集群外路由。

集群外的 Pod IP 可路由性

不同 Kubernetes 网络实现的一个重要区别特征是 pod IP 地址是否可通过更广泛的网络在集群外部路由。

不可路由

如果 pod IP 地址在集群外部不可路由，那么当 pod 尝试建立到集群外部 IP 地址的网络连接时，Kubernetes 使用一种称为 SNAT（源网络地址转换）的技术来更改源 IP从 pod 的 IP 地址到托管 pod 的节点的 IP 地址。连接上的任何返回数据包都会自动映射回 pod IP 地址。因此 pod 不知道 SNAT 正在发生，连接的目的地将节点视为连接的源，而底层更广泛的网络永远不会看到 pod IP 地址。

对于相反方向的连接，集群外部的东西需要连接到一个 pod，这只能通过 Kubernetes 服务或 Kubernetes 入口来完成。集群之外的任何东西都不能直接连接到 Pod IP 地址，因为更广泛的网络不知道如何将数据包路由到 Pod IP 地址。

可路由

如果 pod IP 地址可在集群外部路由，则 pod 可以在没有 SNAT 的情况下连接到外部世界，而外部世界可以直接连接到 pod，而无需通过 Kubernetes 服务或 Kubernetes 入口。

可在集群外路由的 Pod IP 地址的优点是：

• 为出站连接避免 SNAT 对于与现有更广泛的安全要求集成可能是必不可少的。它还可以简化操作日志的调试和可理解性。
• 如果您有专门的工作负载，这意味着某些 pod 需要无需通过 Kubernetes 服务或 Kubernetes 入口即可直接访问，那么可路由的 pod IP 在操作上可能比使用主机联网 pod 的替代方案更简单。

可在集群外路由的 Pod IP 地址的主要缺点是 Pod IP 在更广泛的网络中必须是唯一的。例如，如果运行多个集群，您将需要为每个集群中的 Pod 使用不同的 IP 地址范围 (CIDR)。当大规模运行时，或者如果企业对 IP 地址空间有其他重要的现有需求，这反过来又会导致 IP 地址范围耗尽的挑战。

什么决定了可路由性？

如果您为集群使用覆盖网络，则 pod IP 通常无法在集群外部路由。

如果您不使用覆盖网络，那么 pod IP 是否可在集群外路由取决于正在使用的 CNI 插件、云提供商集成或（对于本地）BGP 与物理网络对等的组合。

BGP

BGP（边界网关协议）是一种基于标准的网络协议，用于在网络中共享路由。它是互联网的基本组成部分之一，具有出色的扩展特性。

Calico 内置了对 BGP 的支持。在本地部署中，这允许 Calico 与物理网络（通常与架顶式路由器）对等以交换路由，从而形成一个非覆盖网络，其中 pod IP 地址可在更广泛的网络中路由，就像附加的任何其他工作负载一样到网络。

关于Calico  网络

Calico 灵活的网络模块化架构包括以下内容。

Calico CNI 网络插件

Calico CNI 网络插件使用一对虚拟以太网设备（veth pair）将 pod 连接到主机网络命名空间的 L3 路由。这种 L3 架构避免了许多其他 Kubernetes 网络解决方案中的额外 L2 桥的不必要的复杂性和性能开销。

Calico CNI IPAM 插件

Calico CNI IPAM 插件从一个或多个可配置的 IP 地址范围内为 Pod 分配 IP 地址，并根据需要为每个节点动态分配小块 IP。结果是与许多其他 CNI IPAM 插件相比，IP 地址空间使用效率更高，包括用于许多网络解决方案的主机本地 IPAM 插件。

覆盖网络模式

Calico 可以提供 VXLAN 或 IP-in-IP 覆盖网络，包括仅跨子网模式。

非覆盖网络模式

Calico 可以提供在任何底层 L2 网络或 L3 网络之上运行的非覆盖网络，该网络要么是具有适当云提供商集成的公共云网络，要么是支持 BGP 的网络（通常是具有标准 Top-of 的本地网络-机架路由器）。

网络策略执行

Calico 的网络策略执行引擎实现了 Kubernetes 网络策略的全部功能，以及 Calico 网络策略的扩展功能。这与 Calico 的内置网络模式或任何其他 Calico 兼容的网络插件和云提供商集成结合使用。

Calico 兼容的 CNI 插件和云提供商集成

除了 Calico CNI 插件和内置网络模式，Calico 还兼容许多第三方 CNI 插件和云提供商集成。

亚马逊 VPC CNI

Amazon VPC CNI 插件从底层 AWS VPC 分配 pod IP，并使用 AWS 弹性网络接口提供 VPC 原生 pod 网络（可在集群外路由的 pod IP）。它是 Amazon EKS 中使用的默认网络，使用 Calico 执行网络策略。

Azure CNI

Azure CNI 插件从底层 Azure VNET 分配 pod IP 配置 Azure 虚拟网络以提供 VNET 本机 pod 网络（可在群集外部路由的 pod IP）。它是 Microsoft AKS 中使用的默认网络，使用 Calico 执行网络策略。

Azure 云提供者 （Azure cloud provider）

Azure 云提供商集成可用作 Azure CNI 插件的替代方案。它使用主机本地 IPAM CNI 插件来分配 pod IP，并使用相应的路由对底层 Azure VNET 子网进行编程。Pod IP 只能在 VNET 子网内路由（这通常等同于它们在集群外不可路由）。

谷歌云提供者（Google cloud provider）

Google 云提供商集成使用主机本地 IPAM CNI 插件来分配 pod IP，并对 Google 云网络 Alias IP 范围进行编程，以在 Google Cloud 上提供 VPC 原生 pod 网络（可在集群外路由的 pod IP）。它是 Google Kubernetes Engine (GKE) 的默认设置，使用 Calico 执行网络策略。

主机本地 IPAM

主机本地 CNI IPAM 插件是一个常用的 IP 地址管理 CNI 插件，它为每个节点分配一个固定大小的 IP 地址范围（CIDR），然后从该范围内分配 pod IP 地址。默认地址范围大小为 256 个 IP 地址 (a /24)，但其中两个 IP 地址保留用于特殊目的，未分配给 pod。主机本地 CNI IPAM 插件的简单性使其易于理解，但与 Calico CNI IPAM 插件相比，IP 地址空间使用效率较低。

Flannel

Flannel 使用从主机本地 IPAM CNI 插件获取的静态每个节点 CIDR 路由 pod 流量。Flannel 提供了许多网络后端，但主要用于其 VXLAN 覆盖后端。Calico CNI 和 Calico 网络策略可以与 flannel 和主机本地 IPAM 插件相结合，为 VXLAN 网络提供策略执行。这种组合有时被称为“运河”。

注意：Calico 现在内置了对 VXLAN 的支持，为了简单起见，我们通常建议优先使用 Calico Flannel 组合。

网络选项

本地

Calico on-prem 最常见的网络设置是使用 BGP 与物理网络（通常是架顶路由器）对等的非覆盖模式，以使 pod IP 可在集群外部路由。（当然，如果需要，您可以配置本地网络的其余部分以限制集群外部 pod IP 路由的范围。）此设置提供了丰富的高级 Calico 功能，包括广告 Kubernetes 服务 IP 的能力（集群 IP 或外部 IP），以及在 pod、命名空间或节点级别控制 IP 地址管理的能力，以支持与现有企业网络和安全要求集成的广泛可能性。

如果无法将 BGP 对等连接到物理网络，如果集群位于单个 L2 网络中，您也可以运行非覆盖模式，Calico 只是在集群中的节点之间对等 BGP。尽管这不是严格意义上的覆盖网络，但 Pod IP 不能在集群外路由，因为更广泛的网络没有 Pod IP 的路由。

或者，您可以在 VXLAN 或 IP-in-IP 覆盖模式下运行 Calico，并使用跨子网覆盖模式来优化每个 L2 子网内的性能。

受到推崇的：

选择性的

AWS

如果您希望 pod IP 地址可在集群外部路由，则必须使用 Amazon VPC CNI 插件。这是 EKS 的默认网络模式，Calico 用于网络策略。Pod IP 地址从底层 VPC 分配，每个节点的最大 Pod 数量取决于实例类型。

如果您希望避免对特定云提供商的依赖，或者由于 IP 地址范围耗尽的挑战而从底层 VPC 分配 pod IP 存在问题，或者如果 Amazon VPC CNI 插件支持的每个节点的最大 pod 数量不足以 根据您的需要，我们建议在跨子网覆盖模式下使用 Calico 网络。Pod IP 不能在集群外部路由，但您可以将集群扩展到 Kubernetes 的限制，而不依赖于底层云网络。

您可以在这段简短的视频中了解有关 AWS 上的 Kubernetes 网络的更多信息，包括上述每个选项如何在幕后工作：您需要了解的有关 AWS 上的 Kubernetes 网络的所有信息。

Azure 

如果您希望 pod IP 地址可在集群外路由，则必须使用 Azure CNI 插件。这由 AKS 支持，Calico 用于网络策略。Pod IP 地址是从底层 VNET 分配的。

如果要使用 AKS，但由于 IP 地址范围耗尽的挑战，从底层 VNET 分配 pod IP 存在问题，则可以将 Calico 与 Azure 云提供商集成结合使用。这使用主机本地 IPAM 为每个节点分配 /24，并在集群的底层 VNET 子网中为这些 /24 编程路由。Pod IP 在集群/VNET 子网之外不可路由，因此如果需要，可以跨多个集群使用相同的 Pod IP 地址范围 (CIDR)。

注意：这在一些 AKS 文档中被称为 kubenet Calico，但它实际上是带有 Azure 云提供商的 Calico CNI，并且不使用 kubenet 插件。

如果您不使用 AKS，并且希望避免依赖特定的云提供商或由于 IP 地址范围耗尽的挑战而从底层 VNET 分配 pod IP 存在问题，我们建议在跨子网覆盖模式下使用 Calico 网络。Pod IP 不能在集群外部路由，但您可以将集群扩展到 Kubernetes 的限制，而不依赖于底层云网络。

您可以在此短视频中了解有关 Azure 上 Kubernetes 网络的更多信息，包括上述每个选项如何在幕后工作：您需要了解的有关 Azure 上 Kubernetes 网络的所有信息。

谷歌云

如果您希望 pod IP 地址可在集群外路由，则必须将 Google 云提供商集成与主机本地 IPAM CNI 插件结合使用。这由 GKE 支持，Calico 用于网络策略。Pod IP 地址从底层 VPC 分配，对应的 Alias IP 地址自动分配给节点。

如果您希望避免对特定云提供商的依赖，或者由于 IP 地址范围耗尽的挑战而从底层 VPC 分配 pod IP 存在问题，我们建议在覆盖模式下使用 Calico 网络。由于谷歌云网络是纯L3网络，不支持跨子网模式。Pod IP 不能在集群外部路由，但您可以将集群扩展到 Kubernetes 的限制，而不依赖于底层云网络。

受到推崇的：

选择性的

您可以在这段简短的视频中了解有关 Google Cloud 上的 Kubernetes 网络的更多信息，包括上述每个选项如何在幕后工作：您需要了解的有关 Google Cloud 上的 Kubernetes 网络的所有信息。

IBM 云

如果您使用的是 IBM Cloud，那么我们建议使用 IKS，它内置了 Calico 以提供跨子网 IP-in-IP 覆盖。除了为 pod 提供网络策略外，IKS 还使用 Calico 网络策略来保护集群内的主机节点。

任何地方

上面的环境列表显然并不详尽。理解本指南中的概念和解释有望帮助您找出适合您环境的方法。如果您仍然不确定，您可以通过 Calico 用户的 Slack 或 Discourse 论坛寻求建议。请记住，如果您想开始使用，几乎可以在任何环境中以 VXLAN 覆盖模式运行 Calico，而不必过于担心不同的选项。

谢谢大家关注，转发，点赞和点在看。