8月31日，三七互娱举办了一场线上业绩说明会，会上三七互娱高管李卫伟、杨军、叶威、梁蓉对公司的发展现状及未来规划作了说明。三七表示，公司已在北京成立了自研首个专注于SLG领域的工作室，将夯实研发实力，持续深耕SLG领域...

在hudi 0.12.0版本，flink和spark都可以基于hive metastore进行元数据管理，更多信息可参考：hudi HMS Catalog指南。也就是说基于hudi hms catalog，flink建表之后，flink或者spark都可以写，或者spark建表之后，spark或者flink都...

本文讲如何安装启动kafka,并进行测试，其中zookeepr是kafka自带的，本文基本按照官网文档进行安装启动的，并提出可能会出现的问题。官方文档：http://kafka.apache.org/quickstart本文虚拟机系统：centos7，不过其他版本的Linux...

学习和使用Hudi近一年了，由于之前忙于工作和学习，没时间总结，现在从头开始总结一下，先从入门开始

在 Spark 中，除了 RDD 这种数据容器外，还有一种更容易操作的一个分布式数据容器 DateFrame，它更像传统关系型数据库的二维表，除了包括数据自身以外还包括数据的结构信息（Schema），这就可以利用类似 SQL 的语言来进行数据访问...

由于篇幅限制小编，pdf文档的详解资料太全面，细节内容实在太多啦，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！有需要的程序猿（媛）可以帮忙转发+关注，后台私信【大数据资料】即可...

本文将首先介绍 Spark AQE SkewedJoin 的基本原理以及字节跳动在使用 AQE SkewedJoin 的实践中遇到的一些问题；其次介绍针对遇到的问题所做的相关优化和功能增强，以及相关优化在字节跳动的收益；此外，我们还将分享 SkewedJ...

原文标题：Iterative Machine Learning: A step towards Model Accuracy 原文作者：Amarabha Benerjee

星火应用商店的愿景是把优秀的应用，无论是 Linux 原生还是 win 应用带给每一位 Linux 用户！

数据服务是数据中台体系中的关键组成部分。作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。...