腾讯云 TKE Everywhere 特性发布，用户可在自有基础设施中托管 K8s 服务

孔令飞，腾讯云资深工程师，拥有大规模 Kubernetes 集群、微服务的研发和架构经验，目前专注于云原生混合云领域的基础架构开发。

朱翔，腾讯云容器服务高级产品经理，目前负责云原生混合云产品方案设计工作。

前言

企业数字化转型已经成为企业的核心战略。以云计算为核心的新一代 IT 技术，成为了企业数字化转型的重要支撑，上云成为企业数字化转型的必由之路。企业在上云过程中由于数据安全隐私、资源利旧、业务容灾等原因，在上云时通常会采用混合云的架构，混合云成为企业上云新常态。

近几年，随着云原生技术在云计算市场的普及，混合云和云原生的结合成为了趋势。以 Docker、Kubernetes 为代表的云原生技术，屏蔽了底层基础设施的差异性，成为了企业混合云管理的事实基础。同时 CNCF 社区提供了众多的云原生工具和软件，帮助企业进一步降低了云上/云下的差异。云原生和混合云是"天作之合"。

TKE Everywhere 是腾讯云容器团队面向混合云场景，基于公有云容器服务TKE[1]（Tencent Kubernetes Engine）推出的一种新的特性，支持用户在自有的基础设施中运行托管的 TKE 服务。

客户上云挑战

资源利旧

企业已经在数据中心进行了投资，如果要迁移上云，这部分存量的服务器如何处理。上云不能有额外的成本，如何在上云的过程中对资源进行成本的摊销，有效的利用这部分资源成为了难题。

一致的体验

企业上云后，面临着云上、IDC 两套基础设施，两套环境相互独立，很容易形成运维部署的孤岛，造成“混”而不“合”的局面。“混“而不“合“，企业没有享受到混合云架构带来的价值，却带来额外的复杂和问题。在混合云的业务架构下，客户需要一致的、统一的体验。

TKE Everywhere

TKE Everywhere 是 TKE 容器服务（Tencent Kubernetes Engine）一种全新的部署选项，支持用户在自有的基础设施运行与云上 TKE 一致的 Kubernetes 容器服务，包括虚拟机和物理机。TKE Everywhere 采用托管的控制平面，集群的创建、升级、监控等生命周期管理由云上统一负责，用户只需要提供计算资源即可。

TKE Everywhere为用户提供

节点混合部署

TKE Everywhere 提供多种类型节点的混合部署的方式，您可以在集群中同时运行 IDC 节点、云上云服务器CVM[2]/黑石物理服务器[3]以及弹性容器服务EKS[4]。

一方面，IDC 的资源可以得到有效的利用;另一方面，您可以在需要时，轻松将云下的业务拓展至云端。

极致弹性

支持使用云上资源对 IDC 的资源进行快速扩容，赋予 IDC 资源“无限”拓展的能力，有效应对流量突发的场景。您可以云上的 CVM，也可以使用开箱即用的弹性容器服务 EKS 进行快速的扩容。

无缝拓展云上服务

无缝集成腾讯云云原生相关服务，涵盖监控、安全、审计、日志、服务网格、镜像分发加速等。您可以将集群和服务的监控指标接入腾讯云云原生Prometheus监控服务[5]，免去自建监控系统的成本。也可以将日志投递至云原生日志服务CLS[6]，对业务日志进行存储和分析。与云上的服务网格 TCM 无缝集成，构建微服务治理能力等。

使用说明

为了保障集群的稳定性，这里我们推荐使用腾讯云云联网[7]打通用户 IDC 网络和公有云的 VPC 网络，云联网（Cloud Connect Network，CCN）提供了云上私有网络间（VPC）、VPC 与本地数据中心间（IDC）内网互联的服务，具备全网多点互联、路由自学习、链路选优及故障快速收敛等能力。

为了屏蔽底层不同网络环境的差异，TKE Everywhere 提供了基于 Cilium 的容器网络方案，支持基于 VxLAN 隧道模式的 Cilium Overlay 网络[8]和基于直接路由的 Cilium Underlay 网络[9]。

当客户不希望改变其 IDC 基础网络设施时，可以使用 Overlay 网络；当客户对于混合云容器网络的性能有很高的要求时，可以使用基于直接路由的 Underlay 网络。

前提

已经创建了 TKE 集群。
Kubernetes 集群版本大于等于1.18。

开启第三方节点功能

在集群【基本信息】-【节点和网络信息】中，开启第三方节点功能，按需填写相关参数。

如下图所示：

创建第三方节点池

腾讯云 TKE 利用的第三方节点池的能力，支持将非腾讯云的服务器，作为 TKE 集群的节点，注册至 TKE 集群中，由用户提供计算资源，容器服务 TKE 负责集群的全生命周期的管理。

节点初始化

新建节点，获取节点初始化脚本，在待注册到集群的 IDC 服务器上执行。

添加节点

执行如下命令，完成节点的添加。

代码语言：javascript复制

./add2tkectl-cls-m57oxxxp-np-xxxx install

客户案例-自研上云

腾讯内部自研业务全面上云已经成为主航向，这里我们选取具有代表性的某自研业务上云案例介绍。目前自研业务部署在自研 IDC 机房中，大部分业务实现了容器化，积累了丰富的容器化经验。

上云的诉求

资源利旧

目前自研业务在自研 IDC 机房持有大量的服务器资源。如何在上云的过程中对资源进行成本的摊销，有效的利用这部分资源成为了难题。

运维体系的统一

云上和云下 IDC 两套基础环境，业务部署和运维体系需要保持统一。运维管理体系的不统一，会给自研业务上云带来额外的负担。

上云方案选择-TKE Everywhere

针对自研团队业务的现状以及诉求，这里我们推荐直接使用容器服务 TKE 作为上云业务部署的环境，采用了 TKE Everywhere 的特性。通过 TKE Everywhere，自研 IDC 机房运行托管的 TKE 服务，集群的控制面完全由 TKE 托管，用户无需管理运维集群。

为了保证服务的稳定性和高性能，通过腾讯云云联网打通了自研 IDC 机房和公有云 VPC 的网络。

自研业务的集群中，云下资源和云下资源的混合部署在集群中。这样部署有一个好处，IDC 存量的计算资源得到有效利用，并且随着 IDC 计算资源的逐渐淘汰，逐步将业务全量迁移到云上。

TKE Everywhere 无缝集成了腾讯云 TKE 周边的日志、监控、审计、服务网格等产品和能力。自研业务原来在 IDC 自建的监控、日志系统，需要安排专人来运维，为了充分利用云的优势，目前逐步将自建的监控、日志系统从云下，迁移到腾讯云提供的云原生 Prometheus 监控服务和云原生日志服务 CLS，以减轻运维的成本。

借助于 TKE Everywhere，自研业务在一个月的时间内迁移了几十万核资源上云，有效的支撑了自研业务上云。