开源项目介绍|Firestorm - 面向分布式计算框架的 Remote Shuffle Service

2022-06-24 18:01:06 浏览数 (1)

2022腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

提交 Firestorm 项目申请书

Firestorm 项目介绍

Firestorm是腾讯研发并开源的面向分布式计算框架的Remote Shuffle Service。作为云原生的分布式计算框架重要的组成部分,该服务也用来提升分布式计算的整体性能,已在生产系统中大规模部署使用。

Firestorm 项目导师介绍

马骏杰、齐赫

Firestorm 开源项目负责人、Firestorm 开源项目架构师

导师寄语:

Firestorm 是腾讯自研的分布式 Remote Shuffle Service ,对于分布式计算框架上云有着极大的助推作用。通过学习,你不仅能了解到如何设计高性能,可扩展的分布式服务,同时还能掌握分布式计算框架的实现原理,如, Apache Spark 。欢迎同学们积极参与项目研发。

Firestorm 相关资料

Firestorm 文档合集:

‍https://cloud.tencent.com/developer/article/1899893

https://cloud.tencent.com/developer/article/1943179

https://github.com/Tencent/Firestorm#readme

Firestorm 介绍视频:

https://www.bilibili.com/video/BV1Ah411x7ay?spm_id_from=333.337.search-card.all.click 

Firestorm 任务实战项目

编程任务

初阶任务:开发 Firestorm 管理工具

基于 Firestorm 的架构,增加管理工具用来获取集群信息,更新集群状态,调整集群参数等。

在完成这个任务的过程中,同学们将会学到 Firestorm 的基本架构及功能,并通过 RestApi 等方式对集群进行管理。

中阶任务:完善 Firestorm 测试流程

基于 Spark 引擎,在集成测试中增加 TPC-DS 测试,对 Firestorm 的正确进行验证

在这个任务中,同学们可以增加对 Firestorm 和 Spark 两个系统的了解,同时也会对业界比较流行的  SQL测试集 TPCDS 有一定的了解

高阶任务:优化 RPC 通信机制

对 Firestorm的RPC 通信机制进行优化,提升 RPC 通信性能。

需要考虑:如何定义 RPC 通信协议,如何管理 RPC 的通信过程等。

在完成这个任务的过程中,同学们将会对 netty 项目有深刻的了解,并基于 netty 完成整体的优化工作。

扫码填写问卷报名,提交项目申请书

加入开发实战

与导师一起成长这一夏

Firestorm 开源项目交流群

更多开源项目信息,

尽在“腾讯犀牛鸟开源人才社区

扫码加入,解锁所有学习资料

0 人点赞