8月,一场盛夏的技术盛宴将要来啦!这就是ApacheCon Asia。作为开源界备受关注的会议之一,今年大会将持续3天,开设14 分论坛,内容覆盖从大数据到搜索再到消息队列等数十个不同类别。
作为多个Apache项目的活跃贡献者,以及国内首家Apache白金会员,腾讯与Apache社区进行了深入的合作,并推动Apache基金会在开源领域的创新。目前,除了在Hadoop、Spark等众多项目中担任Committer外,腾讯的内部团队还基于Apache中的如InLong、Ozone、Pulsar等项目实现了对业务的支撑和赋能,并形成了一套最佳实践。
在本届ApacheCon Asia上,来自腾讯的多位工程师(他们同时也是这些开源项目的PMC或Committer)将分享腾讯如何更好地应用开源项目来加速技术架构的迭代创新,使业务始终获得高性能。
关于本次大会腾讯分享议程如下,感兴趣的朋友们可「点击原文」进入ApacheCon官网,线上观看本次内容!
演讲一
Apache InLong,一个一站式流数据集成解决方案
演讲时间:2021-08-07 16:50 #BIGDATA 分会场
演讲摘要:在大数据场景下,从零开始构建一个完整的数据流服务平台是非常耗时的,而且很难提供快速、稳定的服务。Apache InLong是一个一站式的流数据集成解决方案,它提供了发布和订阅流数据的功能,基于这个系统,可以轻松构建基于流数据的分析和应用。
讲师简介:
- goson Zhang,Apache InLong项目PPMC,现任职于腾讯数据平台部的数据存储组。
- leobiaoliu,现任职于腾讯数据平台部的实时计算组。
演讲二
Apache Ozone 如何通过 Raft 协议建立起高可用性
演讲时间:2021-08-07 14:50 #BIGDATA 分会场
演讲摘要:Apache Ozone是Hadoop的一个可扩展的、冗余的、分布式的对象存储,在2020年成为Apache顶级项目。作为Apache Ozone的早期采用者,腾讯大数据平台已经部署了一个超过1000个节点的Ozone集群作为大数据应用的后台存储。此外,腾讯还利用Ozone作为一些私人数据仓库项目的主要存储解决方案。由于Ozone被大量使用,其高可用性被列为生产中支持的首要任务。2020年,腾讯工程师与Cloudera工程师合作,在Apache Ratis(Raft实现)的帮助下,为SCM(存储容器管理器)实施Ozone HA。
听众收益:
- 为了保持高可用性,Ozone SCM必须做到什么程度的复杂性。
- 为什么Ozone决定使用Raft方案来实现单片机HA。
- Ozone团队如何使用Raft和Java反射来复制整个SCM组的数据。
- Ozone团队如何优化启用HA后的单片机性能。
讲师简介:
- Li Cheng,现任高级工程师,负责腾讯云COS的大数据存储。曾在AWS S3和华为存储团队工作。同时也活跃在开源社区。目前是Apache Ozone PMC和Hadoop Committer。
- Shashikant Banerjee,软件工程专家,在设计和构建可扩展和高性能的分布式存储系统方面拥有8年以上的经验。目前是Apache Hadoop、Apache Ozone和Apache Ratis社区的提交者和PMC成员。
- Nanda Kumar,软件工程专家,在设计和构建可扩展的分布式存储系统方面有9年以上的经验。目前是Apache Hadoop和Apache Ozone社区的提交者和PMC成员。
演讲三
腾讯云HADOOP-COS上的数据湖加速器
演讲时间:2021-08-08 14:10 #BIGDATA 分会场
演讲摘要:
自从2019年COS作为腾讯云对象存储解决方案向Hadoop社区提交Hadoop Capatible FS plugic Hadoop-COS后,腾讯云就全速在腾讯COS上支持数据湖。2021年,腾讯COS用多层加速器GooseFS将Hadoop-COS武装起来,这不仅大大提升了COS在Hadoop生态中的性能,也让腾讯COS与大数据、AI平台的凝聚力更强。
听众收益:
- GooseFS如何帮助腾讯云平台与EMR和K8s的凝聚力。
- 新的Hadoop-COS带来的透亮的IO性能加速。
- GooseFS如何加载命名空间级缓存和表级缓存。
- 新Hadoop-COS带来的腾讯云存储的数据湖解决方案。
讲师简介:
Li Cheng,现任高级工程师,负责腾讯云COS的大数据存储。曾在AWS S3和华为存储团队工作。同时也活跃在开源社区。目前是Apache Ozone PMC和Hadoop Committer。
演讲四
Apache Pulsar在腾讯百万级TOPIC下的应用实践
演讲时间:2021-08-08 14:50 #Messaging 分会场
演讲摘要:
Apache Pulsar 作为下一代云原生分布式消息流平台,集消息、存储和函数式计算为一体,并采用存储与计算分离的架构。Apache Pulsar 目前在腾讯云内部已经成功支持大量数据和流量业务场景,本议题将分享腾讯云在 Apache Pulsar 百万量级 Topic 下最佳实践以及运维经验。
讲师简介:
冉小龙,Apache Pulsar committer、Apache pulsar-client-go 作者、Go Functions 作者、RoP Maintainer。2020年底加入腾讯,现负责腾讯云TDMQ的建设,致力于打造稳定、高效、可扩展的底层基础组件和服务。
演讲五
使用 Airflow 在 Kubernetes 进行数据处理
演讲时间:2021-08-08 14:50 #Workfloa Data Governance 分会场
演讲摘要:
1. 为什么我们用airflow K8S
2. airflow oa/rbac/web
3. airflow运行在docker/docker-compose/k8s上
4. airflow kubernetes-operator
5. airflow k8s pod插件
6. airlfow更新友好
7. 在腾讯音乐的使用情况
讲师简介:
栾鹏,现任职于腾讯音乐数据中心,从事云原生机器学习平台和数据平台相关内容的建设。
演讲六
Apache Pulsar——云原生消息队列在腾讯云的实践
演讲时间:2021-08-08 14:10 #Messaging分会场
演讲摘要:
Apache Pulsar 目前在腾讯云上已大规模使用。但消息队列在云原生环境面临了诸多挑战,Pulsar 是一个更好的解决方案。本次演讲将介绍 Pulsar 在云原生环境上的一些实践经验,如:如何快速动态扩缩容,如何提升集群资源的利用率,集群形态等等。
讲师简介:
林琳,腾讯云高级工程师。Apache Pulsar Commiter,专注于中间件领域,对消息队列、微服务等方面有丰富的经验。2019年加入腾讯,现负责腾讯云TDMQ的建设,致力于打造稳定、高效、可扩展的底层基础组件与服务。
END
看了这么丰富的内容分享后你是否心动了呢?8月7日-8日,千万别错过这些精彩哦~快「点击原文」进入ApacheCon官网,预约好你的时间,线上观看本次内容吧!
欢迎关注「腾源会」公众号,期待你的「在看」哦~?