5月24日,2022网络开源技术生态峰会(线上)盛大开幕,本届大会由“科创中国”未来网络专业科技服务团指导,江苏省未来网络创新研究院主办,SDNLAB社区承办。在“网络优化加速与智能调度”论坛上,紫金山实验室研究员郑直分享了《网络操作系统开源技术探索实践》主题演讲。
郑直表示网络经过几十年的发展已经取得了巨大的成功,现在提起网络,不再觉得只是给通信互联提供一个管道,如今网络已经成为了社会的重要基础设施,同时也是国家重要的战略资源。现在网络上所承载的业务在需求和形态上都发生了巨大的变化,随着业务发展的多样化,对于网络的需求也体现出了差异化。
另外一方面,在全球数字化经济背景下,云计算成为企业数字化转型的必然选择,企业上云的过程中,业务发生了多样性的变化,网络架构也随着业务的驱动而适应发展。这主要在体现在两方面,一方面网随云动,网络架构随着云的部署而相应的进行适应和调整,逐渐形成了以云为中心的网络架构。另一方面是网络云化,为了适应互联网和云业务的发展,传统的以硬件为主体的封闭架构开始向虚拟化云化的方向发展,以实现资源的弹性分配、灵活的组网、自动化、智能化的运行。云网融合已经是业界的共识,基于以上的背景需求,紫金山实验室不断地探索创新,研制出云网基础之上管控的大脑——司络网络操作系统。
在新型的网络架构下,网络操作系统作为网络的大脑,统一的管理控制底层的物理网络,结合软件定义、网络遥测、人工智能等多种关键技术,实现对网络的全局可视、业务的按需服务,网络的智能调度等多种能力,为上层的产业应用提供差异化的网络服务保障。
总的来说,司络网络操作系统研制有以下四大总体目标:定制虚拟网络,划分隔离资源,提供差异服务;基于大数据和人工智能,实现智能挖掘与分析;智能感知网络状态,提供实时精准网络资源保障;抽象网络基本能力,实现网络虚拟化。
基于这些目标,司络网络操作系统的设计遵循四大原则:
- 构建统一驱动平台,屏蔽转发设备差异,规范设备驱动接口
- 网络抽象层针对网络资源进行模型抽象,对上层提供网络能力的归一化底座
- 核心系统层集成网络管理、控制、分析的核心能力,通过开放框架层对上层应用服务开放
- 通过一套软件系统,提供全场景、灵活定制的网络能力,满足网络按需服务的愿景
郑直表示在分布式流处理平台方面,紫金山也做了一些研究和实践。Kafka是一种高吞吐量的分布式发布订阅消息系统,在2010年进行了开源,可以处理消费者在网站中的所有动作流数据。Kafka以高吞吐、可持久化以及可水平扩展支撑了流数据处理等多种特性,而被大家所广泛使用。
Conductor是受到Netflix需要去运行全球流媒体业务流程的启发,构建的基于云的微服务的编排引擎。Conductor能够创建复杂的流程/业务流,由微服务实现单个任务;可以基于JSON DSL 创建工作流,对任务的执行进行编排;提供一种简单的方式来最大限度重用微服务;易扩展,可支持数百万个并发运行的流程。
郑直指出传统的流程引擎已经越来越不适合现在微服务的开发体系。基于Conductor的流程引擎已经实现网络业务端到端的打通、灵活的调度、智能的编排、流程的可视化。一些新网络的业务场景,也可以非常灵活的纳管到这个系统中。
Redis (REmote DIctionar y Ser ver) 是一款开源的NoSQL内存键值存储数据库,可以用作数据库、缓存、消息中间件、流引擎。Redis因其低延迟和高吞吐量、灵活的数据结构、高可用性和可扩展性、简单性和易用性、复制和持久性以及开源等特性,目前已经被多个系统采用。
司络网络操作系统基于最新的operator-framework-SDK,自研了redis-cluster-operator控制器,实现Redis集群高可用模式。在集群内可以实现自动平衡节点分布、故障恢复和转移以及灵活扩缩容。
Elasticsearch是一个分布式的、高扩展、高实时的搜索与数据分析引擎,易扩展,可处理 PB 级结构化或非结构化数据,可以充分利用Elasticsearch水平的伸缩性,让数据在市场环境中变得是更有价值。Fluentd是流行的开源的数据收集器,使用json统一日志格式,可插拔的架构,资源占用少且可靠性高。Kibana是开源分析和可视化平台,搜索、可以查看Elasticsearch 索引中的数据,可实现高级的数据分析和可视化,然后把这些数据通过图表的方式进行呈现出来。
最后郑直给大家介绍了开源监控告警系统promethus。监控是产品周期中非常重要的一个环节,promethus是一款基于实际数据库的开源监控和告警的系统。promethus具有较少的外部依赖、较多的系统集成以及服务自动化发现等优点。
【活动专栏】
【转载须知】
若转载文章为原创文章,可在相应文章下或公众号后台留言;其他非转载类文章须在文首以不小于14号字体标明转载自SDNLAB。
【投稿】
欢迎SDN、NFV、SD-WAN、智能网卡、确定性网络、TSN、5G 网络切片等网络方向的观点类、新闻类、技术类稿件。
联系人:kk__wu(微信号)
投稿邮箱:pub@sdnlab.com
详情请参考:SDNLAB原创文章奖励计划