[ 导语 ] 2022年3月26日,DataFun联合腾讯大数据及其他平台举办的第二届线上大数据存储架构峰会已经完美收官落幕。当日,腾讯大数据作为主办平台之一,分享了诸多自主研发的产品,给大家剖析了其中的技术原理以及运用场景。俗话说,温故而知新,那么今天,应诸位小伙伴的呼声和要求,我们就一起来复习一下当日腾讯大数据平台各位老师们的精彩分享吧!
▍腾讯Alluxio—加速新一代大数据与AI变革
陈寿纬 | Alluxio OS核心工程师 罗格斯大学计算机博士
毛宝龙 | 腾讯 Alluxio Oteam 负责人
Alluxio 是一个面向 AI 以及大数据应用,开源的分布式内存级数据编排系统。随着大数据和 AI 业务向 Kubernetes 等容器管理平台迁移,将 Alluxio 作为中间层,为数据查询及模型训练等场景加速,成为各厂商的首选方案。本期重点介绍了腾讯在Alluxio研发贡献上的成果与进展。
▍腾讯大数据调度平台 US
马朋勃 | 腾讯大数据高级工程师
云计算、大数据经常意味着需要调动数据中心大量的资源,如何能够快速的匹配合适资源,需要一个聪明的“大脑”。US是腾讯大数据调度平台中的离线任务调度平台。本期讲为大家详解US的结构及其原理。
▍Inlong(应龙) — 一站式海量数据集成框架原理和实践
张超 | 腾讯大数据高级工程师
Apache InLong 以腾讯内部使用的TDBank为原型,依托万亿级别的数据接入和处理能力,整合了数据采集、汇聚、存储、分拣数据处理全流程,拥有简单易用、灵活扩展、稳定可靠等特性。
▍EasyGraph性能优化及应用
宋志强 | 腾讯大数据高级工程师
EasyGraph是腾讯自研的图数据库,基于内部社交、支付、游戏和音乐等业务场景的锤炼,提供了一站式高性能海量图数据存储、管理、查询和可视化分析的数据库服务。本次将介绍EasyGraph图数据库以及其在腾讯内部的应用和实践。
▍Apache Ozone — 下一代大数据存储解密
赵明超 | 腾讯高级软件工程师
Ozone是Hadoop社区推出的新一代分布式存储系统,它能够满足海量小文件存储需求,支持百亿甚至千亿级文件规模的存储,解决了Hadoop分布式文件系统在可扩展性上的缺陷。本次将详解它架构上的优劣势以及新特性 。
▍PPT 资料汇总
Ozone :
https://drive.weixin.qq.com/s?k=AJEAIQdfAAofLh0Rgn
Alluxio :
https://drive.weixin.qq.com/s?k=AJEAIQdfAAorlgfB43
EasyGraph :
https://drive.weixin.qq.com/s?k=AJEAIQdfAAo0mwY1oj
Inlong :
https://drive.weixin.qq.com/s?k=AJEAIQdfAAoMNIbNOx
US :
https://drive.weixin.qq.com/s?k=AJEAIQdfAAoaWQfcuY
敬请期待下一次直播,
欢迎更多志同道合的小伙伴们
加入腾讯大数据平台!