2022腾讯犀牛鸟开源人才培养计划
开源项目介绍
滑至文末报名参与开源人才培养计划
提交 Firestorm 项目申请书
Firestorm 项目介绍
Firestorm是腾讯研发并开源的面向分布式计算框架的Remote Shuffle Service。作为云原生的分布式计算框架重要的组成部分,该服务也用来提升分布式计算的整体性能,已在生产系统中大规模部署使用。
Firestorm 项目导师介绍
马骏杰、齐赫
Firestorm 开源项目负责人、Firestorm 开源项目架构师
导师寄语:
Firestorm 是腾讯自研的分布式 Remote Shuffle Service ,对于分布式计算框架上云有着极大的助推作用。通过学习,你不仅能了解到如何设计高性能,可扩展的分布式服务,同时还能掌握分布式计算框架的实现原理,如, Apache Spark 。欢迎同学们积极参与项目研发。
Firestorm 相关资料
Firestorm 文档合集:
https://cloud.tencent.com/developer/article/1899893
https://cloud.tencent.com/developer/article/1943179
https://github.com/Tencent/Firestorm#readme
Firestorm 介绍视频:
https://www.bilibili.com/video/BV1Ah411x7ay?spm_id_from=333.337.search-card.all.click
Firestorm 任务实战项目
编程任务
初阶任务:开发 Firestorm 管理工具
基于 Firestorm 的架构,增加管理工具用来获取集群信息,更新集群状态,调整集群参数等。
在完成这个任务的过程中,同学们将会学到 Firestorm 的基本架构及功能,并通过 RestApi 等方式对集群进行管理。
中阶任务:完善 Firestorm 测试流程
基于 Spark 引擎,在集成测试中增加 TPC-DS 测试,对 Firestorm 的正确进行验证
在这个任务中,同学们可以增加对 Firestorm 和 Spark 两个系统的了解,同时也会对业界比较流行的 SQL测试集 TPCDS 有一定的了解
高阶任务:优化 RPC 通信机制
对 Firestorm的RPC 通信机制进行优化,提升 RPC 通信性能。
需要考虑:如何定义 RPC 通信协议,如何管理 RPC 的通信过程等。
在完成这个任务的过程中,同学们将会对 netty 项目有深刻的了解,并基于 netty 完成整体的优化工作。
扫码填写问卷报名,提交项目申请书
加入开发实战
与导师一起成长这一夏
Firestorm 开源项目交流群
更多开源项目信息,
尽在“腾讯犀牛鸟开源人才社区”
扫码加入,解锁所有学习资料