开源项目介绍 |Apache Ozone-分布式大数据通用存储

2021-06-21 15:40:28 浏览数 (1)

2021腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

提交项目Proposal

Apache Ozone项目介绍

标签:大数据存储 

技术栈:Java

标签:大数据存储 

技术栈:Java

Apache Ozone-分布式大数据通用存储,Ozone是一个大数据场景分布式存储,支持百亿到千亿级对象和文件。Ozone提供兼容S3 的对象功能,和兼容Hadoop File System(HCFS)的文件功能,同时通过CSI驱动接入Kubernets生态。Ozone定位于混合云场景存储支持,是面向数据湖的下一代大数据存储系统。

Apache Ozone导师介绍

陈怡、费辉、耿斌、赵明超

陈怡:Apache Ozone PMC Chair、Apache Hadoop PMC

费辉:Apache Ozone Committer, Apache Hadoop Committer

耿斌:Apache Ozone Committer

赵明超:Apache Ozone Committer

导师寄语:

“大数据存储是整个大数据系统的基石,Ozone是Hadoop生态推出的新一代大数据场景分布式存储,支持百亿到千亿级对象和文件。希望同学们通过暑期实践,对于大数据生态的存储能有一个深入的了解和掌握。”——陈怡

Apache Ozone拓展资料

?Apache Ozone官网:

https://ozone.apche.org

?Apache Ozone最新发布1.1.0文档:https://ozone.apache.org/docs/1.1.0/

?TOzone:Native Object Store for Hadoop:

http://4nqiq.cn/5nXVg

Apache Ozone实战任务

(最终具体任务以实战阶段导师布置为准)

编程任务

项目:兼容S3协议的数据Lifecycle管理

任务: 1. 数据Lifecycle管理的设计 2. 在S3网关实现Lifecycle 策略的设置和修改 3. 在Ozone 命令行支持 LifeCycle的CRUD 4. 在Ozone元数据OM节点,实现Lifecycle的具体功能 5. 完成代码编写和测试,完成功能使用文档 6. Demo 演示

参考资料: https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html  (复制链接粘贴至浏览器即可查看)

扫码填写问卷报名,提交项目proposal

加入开发实战

与导师一起成长这一夏

Apache Ozone开源项目交流群

欢迎对本项目感兴趣的同学一起交流

更多开源项目信息,

尽在“腾讯犀牛鸟开源人才社区”

扫码加入,解锁所有学习资料

关于腾讯犀牛鸟开源人才培养计划:为响应国家十四五规划的开源战略,腾讯于2021年5月发布“首届腾讯犀牛鸟开源人才培养计划”,希望企业界和教育界形成合力,打造面向高校学生的开源课程和开源实践培养方案,培育开源人才,普及开源文化,助力开源人才生态的发展。

首届项目由教育部计算机教学指导委员会、教育部软件工程教学指导委员会、中国信息通信研究院作为联合指导单位,包括开源基础培训、开源进阶研学、开源项目实战三个环节,项目涉及云原生、微服务、容器、AI、大数据、前端、物联网/边缘计算等多项技术热点。

各位同学报名即可参加线上开源系列课程,学习开源知识,对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下,利用暑假开展编程实战,并有机会获得腾讯开源贡献者证书(目前全球只发出了10 张)。

?学生指南Q&A:https://github.com/Tencent/OpenSourceTalent/issues/14

?官方QQ群:859260607 (加群请备注学校 专业)

【其他项目介绍】

开源项目介绍 |TKEStack-开源容器服务平台

开源项目介绍 |OMI-前端【跨框架】框架

开源项目介绍 |APIJSON- 后端零代码接口和文档ORM 库

开源项目介绍 |TARS-高性能微服务治理框架

开源项目介绍|Apache InLong-分布式消息中间件系统

开源项目介绍|Tencent KonaJDK

开源项目介绍 |SuperEdge-云原生边缘计算平台

开源项目介绍 |Hippy-跨平台动态化框架

开源项目介绍 | Angel-高性能分布式机器学习平台

【申报指南】

申报指南|这才是报名&提交proposal的正确姿势

腾讯犀牛鸟开源人才培养计划官网

https://opensource.tencent.com/summer-of-code

(点击文末阅读原文直接访问)

合作或疑问欢迎联系:tencentopen@tencent.com

0 人点赞