问答时间:2021年3月10日
嘉宾简介:
李丛:腾讯CDN技术负责人,2010年毕业后加入腾讯,一直从事腾讯CDN的平台的研发和运营工作,见证了腾讯CDN从100G到100T 的全过程,先后支持Qzone、腾讯视频、微信、DNF&LOL&王者荣耀、微视、全民K歌等内部重量级业务的运营优化和保障工作。2016年开始至今,开始负责腾讯云CDN的相关研发运营优化工作,带领团队在TCP协议栈、缓存引擎、高性能Server、智能调度、系统架构等各个方面进行优化突破,使得腾讯云CDN在各大业务竞标中领先竞品,在ToB服务方面有着相当的实战经验和方法论。
主持人简介:
吴洪声(人称:奶罩):腾讯云中小企业产品中心总经理,DNSPod创始人,洋葱令牌创始人,网络安全专家,域名及DNS技术专家,知名个人站长,中欧国际工商学院EMBA。
01
吴洪声:在云计算领域,腾讯云的网络加速产品相比较头部友商而言,起步略晚。但是在短短的数年间,业务从0起步,实现了覆盖全球2100 节点,超过120T资源储备,全网链路进行实时监控,自研 GSLB 调度体系。腾讯的云计算领域是如何快速崛起的?
李丛:其实腾讯CDN的起步并不算太晚,只是腾讯云对外开放CDN的时间确实晚了些。在腾讯内部,2007年就已经开始建设CDN平台,最初是支持我们的新闻网、游戏等业务,从技术起步来讲还算早。之所以在对外开放后,会有一个较为快速的发展,还是由于内部业务的磨练,积累下来了一些较为核心的技术。另外有一点可以修正一下,现在我们的资源储备已经远超120T了,原计划21年三月份准备举办一个小范围的【100T】庆典,但其实【100T】里程碑早在20年年初就已经达成了,所以看起来我们也比较享受“延迟满足“的过程:)
02
吴洪声:您身为腾讯的资深员工,能给我们分享一下这种快速的崛起背后,有什么让你难以忘怀的故事吗?
邹辉:难以忘怀的,通常就是最痛的,但是对个人影响最大的故事,大约有三个故事在我脑中的烙印比较深刻。
第一件比较难忘的事情,发生在十年前我刚进来腾讯没多久,某个业务的首页,因为我写的代码有bug,一个星期内挂了十多次。腾讯对待毕业生真的是非常开放,当时虽然我是毕业生,但直接负责了线上非常重要的模块,CDN Cache Server的研发。刚开始的时候,技术上是比较稚嫩,经常会出一些问题,导致业务受损,经常为了定位一个bug,搞到凌晨三四点。现在想起来,还是会感慨,好在当时挺过来了。就因为这些问题,我经常和身边的同学开玩笑:“就经我手的bug导致业务受损的价值来算,好歹也身价上亿”。不过也正因为这些问题让我们成长的特别迅速,所以还是非常感谢腾讯可以给我提供这么一个战场。也是在内部业务的战场上,我们通过不断的迭代,构建起了TDNS调度、NWS Server(目前已重构为Lego Server)、Disktank缓存引擎等几个比较核心的组件,奠定了未来发展的基础。
第二件比较难忘的事情,发生在工作五年多,对外开放云CDN的时候。当时从内部支撑来看,我们的CDN平台还算比较成熟,期间连续两年都没出过什么大问题,所以当时说要对外开放,我们还是满有信心的,但是第一个大客户就出了问题。
这个客户是个游戏行业的,我们当时心想,游戏是我们的老本行,这单稳了,但是在产品接入的第一天,就发现失败率非常高。我们整个团队觉得很奇怪,一直内部用的好好的,怎么一开放给外部就出问题了?
于是我们定位问题,逐一排查,最后发现,其实不是我们的产品出了差错。原因在于我们在处理http协议的过程中是比较标准的,根据协议规范,针对一些文件做了压缩处理,但客户的app没有做相关的解压支持,导致了访问问题。我们当时比较感慨,哇,原来外面的世界是这样的。起初作为技术人员,我们的内心确实有些不屑,心想:怎么这些最基本的标准都不遵守,这些客户怎么可以这样做技术,内心很不想支持解决这类问题!但是随着云业务的发展,这类问题屡见不鲜,我们和客户沟通也逐渐变多,慢慢也就理解了,这些客户就是真正的云市场。很多时候,我们需要配合客户业务的节奏,给出当下合理的解决方案,而不一定是对的解决方案。当然从现在来看,即使是这些个性化兼容的解决方案,我们内部也会去提炼一个统一的产品能力来解决。用公共的能力,解决个性化需求。
第三个比较难以忘怀事情,发生在短视频爆发的那年。当时那个阶段,短视频行业处于高速发展时期,客户对播放体验看的特别重,对于CDN产品而言,性能是获客的核心因素。为了获取某个短视频大户,我们需要在慢速指标上至少持平友商,但是客户第一次提供数据,发现我们大幅度落后于友商,简直不敢相信。原来自以为我们产品还可以,但真的到商业市场上去做这种纯技术PK的时候,原来差距这么大。当时时间也很紧迫,优化了一月还是没有实质效果,客户也放话,最后一周时间,不行你们就放弃把。好在在最后一周我们找到了突破口,性能有较大的改善,又争取到了更多的优化时间,最后其实花了大半年的时间才把这个项目攻坚稳定下来。后来我们复盘整个过程,感慨万分,原来我们一直都是井底之蛙:服务内部业务的时候,因为业务发展十分迅猛,我们更多的是考虑如何支撑海量并发,以便可以跟上内部业务的发展速度,所以精力主要集中在架构 ,高并发等方面,但是并没有在传输性能上投入精力,以至于在商业环境PK下,完全落败。不过也真是这次惨痛的精力,让我们下定决心成立了专门的团队长期攻坚在网络传输协议上,后面几年腾讯云CDN得以高速增长,也是因为我们在传输性能上的投入,使得在各项正式性能竞标中基本都可以处于第一的位置。
03
吴洪声:在19年的Gartner CDN服务 “客户之声”:腾讯云CDN服务位居全球第二,能够在国际上取得如此高的好评,和腾讯自研全球调度体系一定是有紧密的联系的。当时整个腾讯云的业务重心更多是在大陆的市场,当时是什么原因,驱使你们如此高瞻远瞩的去建设一个全球的调度体系呢?
邹辉:其实也没有高瞻远瞩这一说,归根结底,还是内部、外部的客户有需求。近两年我们在实际服务客户的过程中,很多客户会直接提出海外的需求,所以19年我们成立了海外加速组来做海外CDN的布局,20年其实才是真正发力的一年。其实发展海外CDN一方面是顺应大势。可以看到在国内红利吃尽的情况,诸如:手机、短视频、游戏等行业,都在走全球化的发展路线,而且都做的很不错。像国内头部手机厂商在东南亚、印度市场的份额持续增加,再加上我们国内短视频行业陆续出海,虽然短期会因为一些国际局势,在部分国家会受到一些阻力,但是从长期来看,全球化的趋势是势不可挡的。
另一方面是在国内比较稳定的基础上,我们现在有更多的精力去做海外了,除了国内出海的客户,全球CDN的市场更加庞大,我们也希望可以和Akamai、AWS Cloudfront、GCP等国际大厂做些技术切磋和学习。
04
吴洪声:云服务的盈利门槛是在不断的提高的。第一是技术壁垒,需要根据市场需求不断深化技术能力。强大的研发团队是云服务的竞争能力的核心要素;第二是规模性,规模越大,经营的成本相对变低;第三是维护门槛,云服务不是一锤子买卖,交付完成后还需要提供持续性经营和服务。这样的背景下,有人认为小的云厂商会逐渐的被巨头挤出局,你怎么看待这样的说法呢?
邹辉:头部的云厂商规模越大、成本越低、性能/产品等技术壁垒越高,这是一个滚雪球的过程,确实会对小的云厂商带来很大的挑战,但个人认为不代表这些小的云厂商没有机会。头部的云厂商会因为规模效应,会逐渐承担起基础设施提供方的职责,那么小的云厂商的想要发展需要做些改变,可以基于这些云基础设施做一些诸如SaaS等解决方案。整个云计算的市场潜力还是很大的,头部云厂商很难全部都吃下,所以头部厂商都有去做行业生态,把自己的IaasPaas能力提供出来,联合各类云厂商,一起服务好整个行业客户。对小厂商需要去做转型,而不是跟大厂商去拼基础性能、去拼成本,需要在某个垂直领域把这个场景吃透,基于“云原生”理念把某个产品做得更加的深刻、更加贴近业务,比如snowflake目前就发展的很不错,未来也许也并不小。
05
吴洪声:5G智能让万物能够互联,让车联网、物联网等高流量应用得以实现并逐渐走向普及。而终端设备、业务请求的蜂拥而至,也势必造成网络的堵塞。但是目前的CDN技术能力在我看来,是不足以满足5G时代的应用需要的。在当前,CDN基本部署在CR(核心路由器)、SR(业务路由器)附近,部署的位置相对偏上,而且部署节点相对也较为松散,一旦终端设备请求量爆发,目前网络势必难以承载。你认为CDN技术要如何变革,才能更好的拥抱5G时代呢?
邹辉:首先,应该说说CDN的基础设施,如果说下一步真到5G时代,我觉得CDN的基础设施需要进一步下沉。比如现在我们跟运营商合作尝试的MEC。它就能够解决上面的这些问题。直接就在运营商的接入层把流量导出,不需要汇聚到核心层,那就缓解了一大部分的流量,当然还有更多的下沉方式,比如说前不久腾讯的 T-block, 雾计算的各类节点。至于具体会使用到那些下沉基础设施,还是要看实际的应用场景。个人觉得最先爆发,可能还是在视频VR/AR方面的业务,这个场景还是需要具备大带宽能力的边缘下沉设施。
其次,关于技术架构。刚才也提到了有很多的基础设施,这些基础设施可能硬件环境差异特别大,每个节点的规格,性能,计算能力、架构体系,可能都不一样,所以要管理好这些异构的边缘设备。另外,未来的5G应用除了有视频VR/AR,车联网,可能还有更多的形态出现,也许人人都有开发边缘应用的需求。如果是这个趋势的话,我们就需要在底层技术架构上去做一些前瞻性的布局,比如采用云原生的一些方案解决异构设备的管理和调度问题,比如如何开放存储、网络、调度等能力,让用户可以更方便的构建自己的应用。这应该就是所谓的边缘计算架构。
06
吴洪声:所以您认同很多人觉得CDN是边缘计算架构这一点吗?
邹辉:我认为,现有的CDN都不算边缘计算架构,但是可以使用边缘计算架构来重塑整个CDN。CDN现在可以认为是一个最成熟的边缘计算应用,但是就目前而言,它底层的技术架构不足以叫做“边缘计算架构”。边缘计算架构,本质应该是一个分布式的操作系统,它能提供统一的网络、存储、计算等标准接口,让任何人可以方便的构建分布式的边缘计算应用,就像编写一个单机程序一样简单,比如:基于这个架构,可以轻松完成一个CDN的应用服务,实现CDN的重塑。当下的边缘计算产品,大多还是在卖资源,个人认为这不是未来,因为它没有产生特别的价值,对很多客户来说,门槛也比较高。这个技术的演进还需要较长的时间,也需要经历市场的考验。我们内部的CDN底层架构规划,是朝着这边目标进行的:提供一个分布式操作系统,让每个人都可以轻松构建分布式的边缘应用。
07
吴洪声:搭建网站使用服务器会根据不同的用户群体选择服务器,国内企业一般会选择国内主机,而一些外贸企业,会需要海外的服务器。欧美地区的客户一般会考虑选择美国服务器。但是由于美国服务器离内地距离比较远,在国内如果访问站点,速度可能会比较慢,在使用过程中如何解决的?
邹辉:我们的全站加速产品,就是解决这个问题的,利用其全球的分布接入点,以及核心的网络传输技术,为客户供了全球的加速能力。具体的解决方案可以分几点简单介绍下。
首先,要致富先修路。这个路就是我们的全球基础网络设施。随着今年海外CDN业务的快速发展,我们在海外边缘节点的建设上也加快了很多,目前已经覆盖了34 的国家。同时在核心攻坚的国家区域,我们也在推动和各大运营商建立Peer互联,提升网络质量。相信今年在基础设施网络方面,会有一个长足的进步。
其实,如何基于这些基础设施建立一个互联互通的传输网络。这里面主要的技术有两点,动态路由技术和双边加速协议。
动态路由技术其实大家听到的比较多,这里面最核心的还是如何准备评价网络状态,很多技术方案会采用ping、tracerout等机制来做,但是其实和实际的网络体验差别很大,我们的做法是会去汇总收集各类真实的数据,来做一个网络评估体系,以便决策到底那条路更好,和普通的探测方式相比,实际效果差异会比较大。
双边加速协议的话,由于之前在网络传输上吃过亏,所以我们有专门人力长期投入在网络传输技术的研究,在内部的传输网络上我们采用的自研的双边传输协议。这里面大约会用到几类技术,除了比较常规的比如丢包补偿, FEC、多路并发等内容,我们在底层的传输策略上还采用了“千人千面”的机制。由于海外的运营商生态比较开放,导致海外的运营商非常的多,但是很多运营商的网络环境差异是很大的,如果都是基于通用规则的传输策略,其实很难照顾到所有的网络环境。所有我们采用了类似推荐算法的机制,把网络环境按照一定的方法做分类,再针对不同的类别采取专门性的优化策略,实现千人千面。
最后,就是接入点最后一公里的优化。这里也主要涉及两点,一个是可以把之前的传输协议复用到接入侧,做一个单边的传输优化,甚至如果客户愿意一起做更多的合作配合,我们可以提供SDK,实现双边的传输能力,提供更好的传输体验。另外一个方面,就是海外调度怎么做?如何降低调度解析延迟,以及如何提升准确性?这个话题也可以聊很长的篇幅,这里就不展开了。
08
吴洪声:其实很多用户在使用加速产品的时候,也会考虑安全的问题。相信很多读者也很想了解,咱们腾讯云的CDN产品是如何确保跨保服务器的安全性的,CDN产品具体在安全方面做了哪些举措?
邹辉:安全方面我们CDN团队以及内部的安全团队,也在联合打造海外的安全SCDN产品。从目前的安全形势来看,其实海外的威胁会更多一些,我们需要加快在海外安全的布局。从安全功能上看,目前主要专注在DDoS,WAF/BOT,CC防护等基础安全能力上,基础安全对抗其实在某种意义上就资源的对抗,随着我们海外CDN规模越来越大,基础设施的链路带宽、算力,也都在快速加强,就比较容易去构建出一个庞大的防御体系,预期今年在基础安全方面也会有很大的提升。
09
吴洪声:聊聊你自己吧,我知道你是从10年就加入了腾讯,曾经为QQ空间,腾讯视频进行过技术支持。从业经验跨越腾讯to C 到 to B的业务。算是最有资格说:见证了腾讯云从消费互联网转型到产业互联网的一代人。从技术负责人的视角来看,你认为在从事to C业务和to B业务上,有什么不同的感受吗?
邹辉:其实我一直在做ToB服务,准确的说一开始是内部ToB服务。如果把腾讯内部的客户当成你的企业客户,那本质上就是一样的,但是这里确实又有很大的不同。我这边一个最大的感受,就是我在服务内部的时候,在业务方面我有一定的技术决策权,但是你在对外ToB业务的时候,你可能会去提供一定的技术方案参考但客户不一定会采纳你的建议,也许你给的方案都是对的,但是当下并不适合客户,客户的业务需要自己的节奏。所以最大的改变就是你要去了解客户当前技术的痛点是什么?去了解它当下业务形势是如何?然后我们给做出一个技术支持方案,把自己变成客户的技术负责人,了解好他公司目前的情况,再因地制宜,给出方案。当然这个说的容易,实操还是有各种阻力。
那在内部不同的是什么?首先我有一定的技术决策权,同时我和C端客户更贴近,比如曾经为支撑QQ空间的时候,就直面C端用户解决了很多个例CASE,至今我的QQ上还保留了许多远程协助定位BUG的用户。这样的好处就是,离实际的业务场景更近,更容易了解业务系统内部的状态,也有助于我们提供更好的解决方案。
想要把对外ToB服务做的更好,需要你要跟一些客户建立长期的一些合作关系。比如我们现在的每次突发保障预演,相关同事也会参与到整个链条里面去。这样子把自己想成客户的技术负责人,就可以把我们在内部服务的经验,也带到外部的企业客户内部去,帮助我们提供更贴合的解决方案。
10
吴洪声:腾讯向产业互联网的迁徙,一定还会依托其强大的to C优势,在消费互联网和产业互联网之间建立起良好的协同效应,而非完完全全另起炉灶。在你看来,有哪些to C的优势会成为腾讯在to B领域的良好奠基?
邹辉:这其实不是我的专业领域,不过之前关注过也了解一点,根据我个人理解C2B本质应该是数据价值的赋能。比如你要去开药店,但是深圳这么大,我要建在哪,是否还有机会?这时候如果你有很多的数据支持,知道那些区域的需求多,但是药店少,供需不平衡,整合这些数据然后在中心的位置找把店开了。所以如何把自己的数据价值能够挖掘出来,然后再赋能到各个的B端企业去,帮助这些企业经营的更好,这个是关键,那么腾讯在这方面的优势就不言而喻了。就CDN这么一个技术领域的产品而言,数据的价值也是不言而喻的,我们目前的各种技术优化,都是从上百T的流量信息里面去挖掘,这里面其实也形成了一些比较核心的资产,比如IP信息库、长尾流量模型等等,这些资产其实也是很多相关企业需要的。
加入我们
下面是一则广告招聘帖
欢迎自荐联系:
boss直聘VX:clusterlee
敲门暗号:
没有产品观的技术人员不是一个好架构师!
腾讯CDN平台整体带宽已超过1X0Tb/s 。对内承载了公司90% 流量,支撑了诸如:微信/QQ、王者荣耀/LOL等王牌业务,对外服务的客户覆盖了几乎所有头部厂商,整体性能行业领先。
顺应全球化/5G等趋势,我们也在积极拓展海外CDN、全球加速、边缘应用等产品,也将直面Google、AWS、Akamai等国际一线厂商的挑战。我们这里需要,“硬核“的工程技术、“稳健“的架构设计、“高效“的网络传输、“智能“的调度算法,欢迎各路大拿加入,我们一起征战全球。
栏目介绍:
大家好,我是吴洪声。
不知不觉,《DNSPod十问》这个栏目,已经做了第三十八期。本来这个栏目叫洪声十问,一期十个问题。然而细心的读者可以发现,问题逐渐变为十一问,十二问,甚至更多。因为在实际采访过程中我发现,十个问题的答案不足以将嘉宾思考上的高度展示给大众。
此外,这个栏目受邀嘉宾的领域也在逐渐的扩大,从域名圈,站长圈到程序员圈,创业者圈。腾讯副总裁丁珂、CSDN董事长蒋涛、Discuz!创始人戴志康、知识星球吴鲁加、腾讯安全学院副院长杨卿等技术大咖、行业领军人物都在这个栏目留下了他们的真知灼见。比如易名中国金小刚说的:“别想着持有对社会有不良影响的域名,这是一个底线。”比如CSDN创始人蒋涛说的:“对于一个技术驱动的公司而言,不断更换新人并不是好事,技术要有一个积累的过程,应该鼓励这些技术人去提升,对技术人员的回报或薪酬、等级要相应地跟管理平行。”
《DNSPod十问》在腾讯云生态圈也极具影响力和活跃度。我们在腾讯内部平台——DNSPod公众号、Discuz! Q公众号、腾讯中小企业服务公众号、腾讯云公众号、腾讯云主机公众号、腾讯云服务器公众号、腾讯云助手、腾讯乐问、腾讯码客圈、腾讯KM平台、腾讯云 社区、腾讯云 大学等平台累计关注度高达数十万,同时我们积极开拓与外部媒体的合作,如腾讯科技、腾讯新闻、新浪微博机构号、CSDN社区技术专栏、知乎机构号、企鹅号、搜狐号、头条号、开源中国技术社区、IT之家、InfoQ社区资讯站点、Twitter机构号、Facebook机构号等媒体阅读总量逾百万。
未来我们希望这个栏目的影响力会覆盖更加多元的受众。把更多正确的理念去对外传递。所以也欢迎各位在评论区留下你想看到我对话哪位嘉宾,还有你想问的问题,我们邀请你共同成为“吴洪声十问”栏目的提问者,发声者。(栏目统筹:赵九州 责任编辑:赵相柠 )
SMB
腾讯云中小企业产品中心
腾讯云中小企业产品中心(简称SMB),作为腾讯云体系中唯一专业服务于8000万中小企业的业务线,致力于为中小微企业提供全面完善贴心的数字化解决方案。产品线覆盖了企业客户从创业起步期、规范治理期、规模化增长期、战略升级期等全生命周期,针对性的解决企业的信息化、数字化、智能化的生产力升级需求。本中心还拥有两大独立腾讯子品牌:DNSPod与Discuz!,在过去15年间,为超过500万企业级客户提供了强大、优质、稳定的IT服务。
SMB团队成员大多都有过创业经历,有获得过知名VC数千万投资的,有被一线互联网巨头以数千万全资收购的,也有开设数十家分公司后技术转型而失败倒闭的,我们成功过,也失败过,我们深知创办企业的难处与痛点,深刻的理解中小企业该如何敏捷起步、规范治理、规模化增长与数字化升级发展,我们会用自己踩坑的经验给出最适合你的答案。
腾讯云中小企业产品中心,助力中小企业数字化升级的好伙伴。
▼点击直达DNSPod官方社区