如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来。据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。...

作者：尼尔·菲什曼（Neal Fishman）、科尔·斯特莱克（Cole Stryker）

Building The Real-time Datalake at ByteDance （00:00:00-00:22:47）

Apache Hudi为大数据带来了流处理，在提供新鲜数据的同时，比传统批处理效率高一个数量级。在数据湖/数据仓库中，关键的权衡之一是输入速度和查询性能之间的权衡。数据摄取通常倾向于小文件，以提高并行性，并使数据能够尽快用...

Hudi对各种数据的摄取都有很多的优点。能够帮助合并DFS上的最小文件。这有助于解决HDFS和云存储上的小文件问题，显著提高查询性能。Hudi增加了非常需要的原子提交新数据的能力，使查询永远看不到部分写入，并帮助摄取从失...

可让您轻松收集、处理和分析实时流数据，以便您及时获得见解并对新信息快速做出响应。Amazon Kinesis 提供多种核心功能，可以经济高效地处理任意规模的流数据，同时具有很高的灵活性，让您可以选择最符合应用程序需求的工具...

上周举行的腾讯云知识分享，雁栖学堂湖存储专题第十期 GooseFS 数据湖加速器在自动驾驶场景下的应用已经圆满结束了。 腾讯云存储团队产品总监“崔剑”老师，给我们分享了数据湖加速器 GooseFS 在互联网行业中的应用相关...

作者：龙逸尘，腾讯 CSIG 高级工程师 腾讯云原生实时数仓建设实践 实时数仓面临的挑战 实时数仓被广泛应用于腾讯各大业务，涉及的平台众多，从统计信息中可以看出，集群规模庞大，数据量极大。 复杂的使用场景和超大的数据量，导...

“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台。 ” 雁栖学堂-湖...

雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台。...