进入数字经济时代,无论企业还是工程师都深刻地意识到,数据在生产过程中的地位愈发重要。被称为数字时代「石油」的大数据,蕴藏着巨大的价值和可能性,等待我们挖掘和利用。
众所周知,数据的生命周期分为采集、存储、整合、呈现与使用、分析与应用、归档和销毁等阶段。而数据集成则是数据全生命周期中至关重要的一环,关系着企业是否能够以最小的成本从数据中心获取最大的价值。
当数据资源成为生产发展乃至于生存过程中必不可少的要素,企业该如何通过数据集成帮助企业数据服务全生命周期落地呢?5 月 14 日,一站式数据集成平台 Apache InLong(Incubating)和数据集成框架 Apache SeaTunnel(Incubating)的技术专家、开源贡献者们一同来到直播间,与大家畅谈Apache InLong(Incubating) 与 Apache SeaTunnel(Incubating)相关的实践经历与心得体会。
在本次主题为「数据服务全生命周期落地实践」的 Meetup 上,来自腾讯、游族网络、白鲸开源等企业的高级工程师,将围绕 Apache InLong(Incubating) 与 Apache SeaTunnel(Incubating)在网络数据接入平台的设计实现、消息间件中的改进、API 重构与 PCG 大数据支撑系统的实施与优化等话题展开讨论与分享,以自身开发中遇到的困难与收获为蓝本,献上对应的解决方法与思考沉淀。
Apache InLong(Incubating) 与 Apache SeaTunnel(Incubating)均是 Apache 开源社区中的优秀项目。其中 Apache InLong(Incubating)是海量数据的一站式集成框架,提供自动化、安全可靠的数据传输能力。而 Apache SeaTunnel(Incubating)则是下一代高性能、分布式、海量数据集成框架,致力于降低学习成本,加速分布式数据处理能力的部署在生产环境中。
两款在同为数据服务领域的产品,能在交流中擦出怎样的火花呢?期待你亲临 5 月 14 日 Apache InLong(Incubating) & Apache SeaTunnel(Incubating)五月 Joint Meetup 直播间,与讲师近距离互动。在这里,您的疑问都将得到解答!
一
报名通道
Apache InLong(Incubating) & Apache SeaTunnel(Incubating)联合 Meetup | 5 月线上直播报名通道已开启,赶快预约吧!
时间:2022-5-14 14:00-17:00
线上直播
点击链接/扫码预约/点击阅读原文报名(免费):https://www.slidestalk.com/m/777
扫码预约报名
扫码进直播群
二
活动议程
张晓栋 游族网络 高级大数据开发工程师
负责数据中心数据平台建设,主要是数据接入平台的相关开发工作
演讲时间:14:05-14:50
演讲题目:Apache SeaTunnel(Incubating)在游族网络数据接入平台的设计与实现
演讲概要:介绍如何在数据接入平台中集成 Apache SeaTunnel(Incubating) 及集成成果。
张国成 腾讯大数据 高级工程师
负责数据接入平台的相关开发工作
演讲时间:14:50-15:20
演讲题目:Apache InLong(Incubating)在消息中间件上的改进
演讲概要:介绍数据接入平台在日均消息接入量级过万亿条时所遇到的挑战、改进方案及效果。
15:20-15:30 抽奖和直播间福袋环节
李宗文 白鲸开源 高级工程师
Apache SeaTunnel(Incubating) & Flink Contributor, Flink CDC & Debezium Contributor
演讲时间:15:30-16:15
演讲题目:Apache SeaTunnel(Incubating) API 重构
演讲概要:为什么需要重构 Apache SeaTunnel API?如何重构 Apache SeaTunnel API?
卢春亮 腾讯 Atta 团队 高级工程师
负责腾讯 PCG 大数据采集、上报、传输、分发的基础大数据支撑系统开发
演讲时间:16:15-17:00
演讲题目:Apache InLong(Incubating)在腾讯 PCG 大数据支撑系统的实施和优化
演讲概要:介绍 Apache InLong 在应对异常故障和流量冲击的保护措施和自动化措施,降低丢失率和重复率,控制运维投入。
5 月 14 日 14:00,Apache InLong(Incubating) & Apache SeaTunnel(Incubating
Joint Meetup 期待您的到来,我们不见不散!
InLong 简介
InLong(应龙),中国神话故事里的神兽,引流入海,借喻 InLong 系统提供数据接入能力。
关于 InLong
Apache InLong(应龙)是腾讯捐献给 Apache 社区的一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,方便业务构建基于流式的数据分析、建模和应用。InLong 项目原名 TubeMQ ,专注于高性能、低成本的消息队列服务。为了进一步释放 TubeMQ 周边的生态能力,我们将项目升级为 InLong,专注打造一站式海量数据集成框架。Apache InLong 以腾讯内部使用的 TDBank 为原型,依托万亿级别的数据接入和处理能力,整合了数据采集、汇聚、存储、分拣数据处理全流程,拥有简单易用、灵活扩展、稳定可靠等特性。
Inlong活动官网:
https://inlong.apache.org/zh-CN/docs/next/introduction/
如何参与贡献:
https://inlong.apache.org/zh-CN/community/how-to-contribute
如何提交代码:
https://inlong.apache.org/zh-CN/community/how-to-commit
提交代码视频指引:
https://share.weiyun.com/nzO55yBD
Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。
仓库地址:
https://github.com/apache/incubator-seatunnel
网址:
https://seatunnel.apache.org/
Proposal:
https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelProposal
Apache SeaTunnel(Incubating) 2.1.0 下载地址:
https://seatunnel.apache.org/download
腾源会是腾讯云成立的汇聚开源项目、开源爱好者、开源领导者的开放社区,致力于帮助开源项目健康成长、开源爱好者能交流协助、开源领导者能发挥领袖价值,让全球开源生态变得更加繁荣。
欢迎关注「腾源会」公众号,期待你的「在看」