前言
在移动互联网时代,腾讯网络团队支撑了腾讯即时通信、内容、广告、游戏等各种产品,让C端客户可以便利享受到腾讯提供的优质服务。在产业互联网时代,腾讯网络进一步升级,通过ECN(External Connection Network)网络,接入不同区域、不同行业的B端客户,让这些客户可以把数据中心、办公网、分支机构和腾讯云便捷互联,完成业务的数字化升级。
便捷接入
作为B端客户接入的网络产品,ECN面临各种各样的场景和需求,有些客户对接入的时延有要求,有些客户对接入的带宽有要求,有些客户对接入链路有要求,有些客户对接入的地点有要求...虽然接入的场景有很多,ECN通过2类产品,就可以帮助不同客户实现便捷、灵活的高可靠组网:
- 云专线:通过有线接入和虚拟化的网关,实现多租户的隔离接入。
- 云VPN:通过加密通道和虚拟化的网关,实现多租户的隔离接入。
云专线
B端的业务上云后,无论是数据库、分布式缓存还是微服务都会在云上云下动态分布,导致云上云下产生大量系统调用,这些系统调用对时延的要求都极其敏感,往往需要网络提供毫秒甚至是亚毫秒的时延;而大数据、AI等业务会产生大量的数据传输,占用大量的网络带宽。这类大带宽、低时延的业务,是客户使用云资源的一个典型场景,物理专线接入也是面对这个场景而产生。
我们在国内大中城市乃至全球部署了大量接入点,这样可以更帖近客户,方便客户接入,同时我们提供了从千兆到100G,从电到光,从几十米到几十公里的多种接入形态来满足不同客户的接入需求。
针对客户上云,资源的是需要在IDC、云上VPC甚至跨地域VPC部署分布,为了满足客户能够灵活部署业务的需求,专线支持就近接入、云联网跨地域访问的能力,在提高了组网灵活性的同时,腾讯云提供的各类PaSS服务,比如日志、缓存、DB等,客户也可以通过专线直接访问,而不需要单独在云上部署对应的系统,进一步提升业务系统交互的灵活性。
专线支持客户通过多网关、多线路灵活的组网,可以提升端到端的组网可靠性, 单点的设备、线路故障快速收敛,不影响业务的连线性。同时通过双BGP 会话的能力,支持云上设备、软件更新对客户无感知,进一步提升链路稳定性,极致的可靠性混合网络。
云VPN
云专线接入提供了一个用户专用的、高质量的网络连接方案,但建设时间相对较长、成本较高导致无法满足部分客户场景,例如短期或临时使用、门店快速发展等。作为一种更加快捷、低成本、广域接入的云网络接入方式,云VPN应运而生。云VPN包括VPN网关产品和SDWAN产品,实现客户IDC、分支、第三方云、腾讯云间的混合云、多云互联、分支互联、移动办公等接入场景。
VPN网关产品提供租户独占、安全、可靠的企业上云与移动办公服务, 支持适合企业混合云组网方案的IPsec VPN服务和适合移动/远程办公场景下员工通过移动终端安全访问云上业务的SSL VPN服务,在组网、易用性、性能、算法等方面有如下特点:
- 组网丰富:云端可连接到VPC,也可连接到云联网;对端可连接IDC、总部或分支、第三方云VPC,个人终端可连接至PC、平板和手机;支持VPNHub功能,实现多个分支间按需互通。
- 简单易用:IPsec VPN支持与10余家业界主流设备厂商以及StrongSwan、AWS等主流的开源和云服务厂商的对端网关对接,并生成对端配置,直接使用;SSL VPN仅需在客户端上安装兼容的OpenVPN组件,导入从云端下载的配置文件即可一键连接,无需任何额外的配置。
- 性能领先:单网关实例支持Gbps级别网关转发、千级别通道/连接数,租户可通过多个网关进一步平行扩展性能。
- 算法丰富:认证算法既支持常见的SHA1、MD5、SHA256/384/512等,还支持国密SM3;加解密算法既支持DES、3DES、AES128/192/256(CBC及GCM均支持)、国密SM4等,还支持选择不加密。
随着租户分支数量的不断增多,混合组网的开通、配置、维度等复杂度越来越高,SDWAN产品具有即插即用、多地域覆盖、智能管控等能力,可为租户提供更简单、可靠、智能的一站式上云服务,尤其适合全球分布、大量站点、急速扩展分支的场景。主要包括如下特点:
- 即插即用:分支CPE设备支持零配置启动,自动与接入点建立VPN隧道,一跳上云,业务极速开通。
- 丰富接入:CPE WAN侧支持静态配置、DHCP、PPPOE、4G、5G等多种接入方式;LAN侧可支持二层、三层接入,支持通过DHCP为分支内服务器分配IP地址。
- 稳定可靠:提供 Edge 设备级、链路级、接入点三级容灾,有效避免单点故障,全方位多维度地保障业务稳定性。
- 智能加速:CPE设备/vCPE软件智能选择接入点,依托腾讯云全球广域覆盖的20 数据中心接入点及云骨干网、云联网资源,满足更加稳定的带宽和低时延通信需求。
- 智简运维:提供可视化网络拓扑管理界面,可实时监控网络、链路状态,智能更新并轻松实现网络全方位、智能化管理,例如隧道切换等。
融合
对于部分兼顾高可靠性和低成本的场景下,专线和VPN可以混合组网,形成VPN链路对专线物理链路的备份。在正常情况下,通过物理专线提供稳定传输和低时延保障,在极端故障下,切换到VPN链路保证业务的连续性。
创新架构
云的接入层,客户的场景和需求是多变的,这个时候要求网络系统可以灵活、快速迭代。传统的思路,网络的系统一般使用商用设备和网管,但是在腾讯云里面商用系统并不适用。一方面商用系统转发面只支持处理芯片定义好的报文封装和转发,控制面只支持处理定义好的网络协议,在腾讯云中,为了贴近业务,重新定义了一套转发面和控制面协议,并且随业务调整是会变化的,这些是商用系统不支持的;另一方面商用系统商用版本迭代长(半年到一年),一个特性系统内部是相互耦合的(设备和网管),当面临多租户ipv6、大规格表项、多租户组播广播等场景的接入时,无法快速迭代、灵活进行灰度。
传统思路的网络系统,不能够很好贴近腾讯云的需求,所以我们调整了思路,准备通过自研软件系统来实现ECN网络系统。因为ECN是网络系统,所以我们不可能跳出网络的范畴,所以我们还是准备借鉴网络系统本身的能力,首先我们分析了一下商用设备,对它的功能模块进行了抽象:
我们把商用设备主要抽象成三个主要功能模块:转发模块(芯片)、控制模块(处理配置和表项)、路由模块(处理各种的协议生成转发路由)。因为这三个模块是集成在设备的板卡上的,所以会产生一定封闭性。我们把三个功能模块,升级成三个软件系统,每个系统是分布式系统,系统和系统间标准接口交互,这样实现ECN网络系统的迭代是可以基于子系统独立、快速迭代,可以系统层面选择实例进行灰度。
- 转发系统:无状态NFV,基于转发表项匹配报文的租户、快速封装转发。因为NFV相互间没有状态信息交互,所以可以scale out方式扩展达到T级别的转发能力。同时通过切分多个cluster的方式,形成模块化的转发子系统,多cluster之间可以有版本差异,这样通过系统内异构实现小范围的灰度、以及批次化的灾难性故障。
- 路由系统:状态类NFV,对接客户的标准网络协议(BGP/BFD/IKE/IPSEC等),同时生成路由/会话信息;因为涉及状态信息交互,所以会有2个以上NFV组合成一个个cluster形成灾备,承载不同客户的协议交互。
- 控制系统:管理业务在不同路由系统、转发系统的分布、调度和无损迁移,通过各类微服务,实现业务到网络模型转换、转发表项计算、转发表项下发。
最终,整套ECN提供的是一套构建在基础设备上的分布式系统,相互是独立的,可以单独迭代、单独灰度。
极致性能
ECN作为接入层,一面是面向云,大量微服务会部署在容器、大量的计算节点会部署在虚拟机中,网络层会产生百万甚至千万级的转发表项;一面是面向客户,各种的数据交互会有大量的微突发以及T级别的带宽, 大量的客户接入会产生成千上万的实例,这要求ECN网络系统除了提供便捷接入、灵活架构,还要能够有极致的性能。
在转发系统,我们提供了两类NFV,一类是通过DPDK搭建的软转发NFV,这类NFV部署在虚拟机或者x86物理机上,可以实现单核百万级、整机千万级的PPS处理能力,单加密隧道性能随CPU核数平行扩展的能力,同时支持千万级的转发表项,并且通过平行扩展,实现T级别的带宽转发。一类是通过P4芯片搭建的硬转发NFV,这类NFV部署在自研交换机上,可以实现us级的延时转发能力和几十T级别的带宽转发。
在路由系统,我们把NFV部署在x86服务器上,可以实现远超商用设备的处理能力;同时通过容器实现服务的快速拉起和销毁,以及sclout out和处理能力,可以灵活快速扩展、支持千万级的路由处理能力。
在控制系统中,我们把所有功能模块抽象成独立的微服务,分散部署在多AZ,并利用腾讯的tRPC实现服务间的消息通信,并充分利用云上的分布式缓存、数据库、日志等组件,最终支持控制系统实现亿级路由、百万级网关实例管理的能力。
产业深化
随着ECN接入产品的广泛使用,ECN产品不仅仅满足了租户分支等云下网络与云上VPC网络的互联互通需求,ECN产品能力也还在不断演进,逐渐与业务系统实现协同,以更好地服务租户的业务需求,提供更加高效、便捷地的产品服务,例如:
- SSL VPN接入与租户认证系统协同实现SSO单点登录:实现企业员工通过企业账号、企业微信账号等单点SSO登录使用SSL VPN服务,员工便捷登录,简化额外证书管理。
- SDWAN CPE支持差异化业务流量管理服务:企业分支与云上互通流量可能包括业务记账流量、上网流量等不同优先级流量,高流量突发场景下CPE QoS能力仍能保障高优先级业务流量不受影响,同时支持L4-L7层业务过滤等防火墙能力。
总结
腾讯ECN是随着移动互联网到产业互联网的升级而出现,通过支持灵活组网、高效运维、稳定质量、极致性能,把五湖四海、不同产业的客户接入腾讯云,为客户的产业升级和业务发展保驾护航。
欢迎关注公众账号“鹅厂网事”,我们给你提供最新的行业动态信息、腾讯网络最接地气的干货分享。
注1:凡注明来自“鹅厂网事”的文字和图片等作品,版权均属于“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用,如有违反,一经查实,将保留追究权利;
注2:本文图片部分来自互联网,如涉及相关版权问题,请联系:sandyshuang@tencent.com或 mianyang@tencent.com
/
关
注
我
们
/
/ 鹅厂网事/
分享鹅厂网络的那些事