中台整合零售:腾讯电商业务中台的 Serverless 架构升级

2022-02-08 12:41:42 浏览数 (1)

零售领域变革不是一个新话题,从电商到 O2O ,从无人售货柜到机器人导购,腾讯云的尝试一直未曾止步。对于传统零售企业来说,通过数据中台可以让顾客与需求更好地匹配,同时实现平台上多触点获取流量。而技术中台,则可以帮助零售企业提升整体运营效率,在提高安全性的基础上,还能享受 AI 时代带来的智能化红利。

谈及腾讯电商业务中台,腾讯云应用与服务编排工作流 ASW 的项目负责人王子一认为,“以消费者为中心,实现上下游的产业协同,赋能商家,商家一次接入后,可应用于如下全部业务场景:检索业务、广告业务、智能广告投放、商品的下游数据需求等等,为海量数据的储存和计算提供更稳定安全的高性能中台”。

01.

中台整合零售 共建经济共同体

电商业务中台解决方案提供流程驱动业务中台和数据中台的双中台管理,实现商品、库存、会员等全渠道业务数据的实时在线,进而提高运营效率和库存周转率,助力业务快速增长。通过整合上下游资源全局优化重构产业链条,加速数字化转型升级。

以腾讯云电商业务中台为例,基于云原生打造的高可用、可扩展、灵活配置的商品处理引擎,提供不同行业商家的商品录入,商品信息统一加工,商品信息分发等能力。            

(ASW 和 SCF 在腾讯云电商业务中台的应用) 

腾讯云电商业务中台抽象出商品加工的通用能力,自建出一套可复用组件市场,例如图片处理、自然语言处理、商品信息处理等。商品中台支持商家商品统一接入、商品基于自建的组件市场进行商品加工、基于 ASW 工作流搭建定制化配置加工组件、统一存储的商品数据通过商品分发模块进行统一分发。

02.

ASW 商品加工编排设计 

腾讯云电商业务中台依赖腾讯云 ASW 调度平台进行流程配置和管理。应用与服务编排工作流(Application Services Workflow,ASW)是一个用来协调分布式任务执行的编排产品,根据腾讯云状态机语言定义来编排分布式任务和服务,工作流会按照设定好的顺序可靠地协调执行,将云函数与多个腾讯云服务按步骤进行调度,通过低代码配置,即可完成开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作,让研发团队能更简单、更高效的构建与管理工作流应用。

  • 使用 ASW 并发调用函数

通过工作流并行调用云函数,将多个批量计算分布式作业串联或并行编排,大大提高任务处理的吞吐量,可靠地支持执行时间长、并发量大的大规模计算。

( ASW 工作流与传统工作流的对比 )

目前 ASW 支持腾讯云 API 3.0上超过99%的接口,支持高并发场景。同时,ASW工作流原生支持云日志CLS、云监控CMS、云告警等成熟云上服务,在可观测性方面做到业界领先。

ASW 工作流优势:

弹性高并发:工作流并发调用云函数可以快速调动大量计算资源加速数据处理。

自定义流程:ASW 工作流可以实现高度自定义的工作流流程,例如数据处理流程、数据分析算法、数据存储方式。

降低成本:数据处理是 CPU 密集型任务,在 ASW 工作流及云函数的资源利用率高的情况下,实现了成本的降低。

提升效率:降低学习和使用成本,极大程度上缩短了项目周期,加快开发部署。

  • 使用 ASW 并行多任务处理

在数据处理、多媒体文件处理、商品审核、容器运维管理等系统架构中,往往需要并行多路任务处理的场景 。例如电商商品审核系统,商家每天对商品进行管理更新后,商品数据需要通过商品中台进行一系列的审核操作:如图片审核、死链检测、商品打标、文本审核、统一类目 等环节。海量更新的商品数据会先投递到 Ckafka,商品中台需要一个能快速处理大量数据,高并发、高吞吐量的数据处理流水线。

在数据处理流水线中,ASW 工作流的并发能力主要依赖于 Parallel 节点与 Map 节点。

( ASW 订单数据处理流程示意图)

  • Parallel 节点,也称并行节点:使用该节点可以在工作流中创建并行的任务分支,让多个任务并行执行,大大提升了业务数据处理的效率。
  • Map 节点,也称循环节点:使用该节点对数组中的每一个元素任务计算,且这些元素计算可以并发执行,大大提升了数据处理的吞吐量。

03.

 ASW 云函数 提高交付效率

业界常见的云服务编排须要开发者写状态机表达式,开发人员要花大量精力解决组件间的代码逻辑,需要有较强的代码基础,开发难度较大。

通过 ASW 云函数作为粘合剂,可快速搭建一个高效可用、易扩展性的微服务架构应用。ASW 凭借云平台和云函数的特性,可以轻松地无限扩展,具备兼容公有云、自建服务的融合能力 。ASW 预置了常见的利用模板,一键部署,开箱即用,极大地简化了开发复杂度。

(业务中台通用能力调度编排)

随着电商业务的高速发展,业务架构越来越复杂,通过建立业务中台的方式来支持前后台业务的快速迭代发展已成为必然选择。面对不同零售行业、不同应用渠道的商品加工逻辑差异,如何做到既跟上业务小步快跑的迭代速度和效率要求,又同时能够满足业务人员自主管控和自定义加工流程——已成为当前的热门话题和技术挑战之一。而腾讯电商业务中台的云原生技术架构设计,恰恰在当前最合适的时机,做了降本增效的前沿探索,为同类架构设计提供了借鉴和铺路,为大家拓展了更多的架构设计选择。

04.

场景拓展:电商零售场景中 Serverless 应用

1.电商大促等波峰波谷型业务

每年双 11、618 等电商大促期间,零售行业线上渠道面临历史级别的流量挑战,中大型电商平台的峰值调用量可达上千万/分钟,面临高于日常 10-20 倍的流量压力。日常运营活动中,例如精品秒杀、限时抢购等,电商平台也同样面临大流量高并发、波峰波谷用户流量明显分化的典型场景。云函数 SCF 提供弹性、可扩展的基础设施和护航服务,帮助电商客户把握业务增长的机遇,从容应对挑战。  

(电商弹性大促架构图)

  • 瞬时冷启动

云函数 SCF 底层采用自研的轻量级虚拟化技术,Micro Vm 启动时间短至 90 毫秒,函数 冷启动减低至 200 毫秒,并且支持上万台计算节点同时扩容。

  • 实时扩缩容

基于函数请求实时计算的模式,动态的扩缩函数实例,优化函数冷启动的体验问题,以及控制函数计算的资源成本 。

  • 预置并发

在秒杀、抢购等场景中,瞬间需要海量的计算资源。云函数预置并发,可支持并发实例按配置预先启动,提前“预热”函数,为业务高峰提前准备计算资源,消除冷启动、降低运行环境初始化及业务代码初始化引起的耗时。

2.静态站点

直播带货已成为线上零售平台的标配功能。电商直播中,需要专业、稳定的直播推流、转码、分发、播放等服务,满足超低延迟、超高画质、超大并发访问量的要求。在直播结束后,通常需要对回播视频进行处理,例如音视频转码混流、回播视频二次分发和存储等。相较于自建转码服务器,云函数 SCF 无需考虑转码服务器闲置时间的利用效率、以及服务器运维等问题。

(云函数电商直播方案)

  • 平滑迁移快速上线

支持用户自定义配置 FFmpeg 命令参数、以及部署自建 FFmpeg,转码方式灵活,也可以便捷地从物理机、云主机或容器中移植到云函数。

  • 解决算力瓶颈

大规格实例最高支持 128GB/64C 进行 4K 高清视频转码,结合资源弹性伸缩能力,有效保证转码效率。

  • 按量计费成本优势

视频转码是高运算负荷的 CPU 密集型业务,需要对输入的视频流进行全解码、视频过滤/图像处理、并对输出格式进行全编码。云函数的1毫秒粒度按用量计费,拥有显著的成本优势。

3.智能图片处理等事件驱动型业务

在电商平台上,每天都会有大量商品图片的查询请求和更新请求。高峰情况下,每天有千万级甚至亿级的图片处理需求。传统方案需要搭建一个在线服务器并部署 Web 应用来进行图片处理,程序按照一定规则定时触发事件。

在传统方案中,主要有三个困扰:

  • 没有请求时,空置率较高;
  • 需要专门维护一套运行处理代码;
  • 需要考虑并发和定时器的执行方法,来保障图片处理的及时性。

而在 Serverless 架构中,云函数 SCF 提供图片裁剪、增加水印等多种处理能力,满足电商业务的图片处理诉求。同时针对图片处理、存储的高可用要求,可以支持对象存储的跨区域高可用部署。

(云函数图像处理方案)

用户仅需要在云函数 SCF 上设置触发器 函数,当用户把图片上传到对象存储中,将会触发函数代码进行图片处理,并把图片转移到新的存储桶中。整个过程,不需要搭建 Web 服务器,无需编写触发条件,也无需关注业务运维。

新年宠粉福利

关注【腾讯云原生】公众号

后台回复【虎年大吉/虎虎生威/如虎添翼】

立抢新年红包封面

数量有限,先到先得~

重磅介绍

【燎原社】推出了专业而又系统的线下云原生技术实战营,需要系统化深入学习的同学,可扫码报名云原生技术实战营课程,腾讯云技术专家现场教学,3天搞定云原生容器化改造过程中的实际问题,扫码一键直达:

  往期精选推荐  

  • 「腾讯云原生」带来限定红包封面!2022虎力全开!
  • 1月腾讯云容器产品技术月报|虎年双重豪礼等你拿!
  • 【Pod Terminating原因追踪系列之二】exec连接未关闭导致的事件阻塞
  • 腾讯云TKE-基于 Cilium 统一混合云容器网络(上)
  • 大数据云原生系列| 微信 Flink on Kubernetes 实战总结

点个“在看”每天学习最新技术

0 人点赞