首先看下数仓架构。数仓的数据接入主要有两个来源，一个是客户端的上报，还有一个是业务后台 DB 的上报，这两份数据都会通过一个消息队列接入数仓。我们的数据仓库采用lambda架构，总体分为离线和实时两套体系，分别有自己的计...

编写代码读取Kafka “KAFKA-DIM-TOPIC” topic维度数据通过Phoenix写入到HBase中，我们可以通过topic中每条数据获取该条数据对应的phoenix表名及字段名动态创建phoenix表以及插入数据，这里所有在mysql“lakehousedb.dim...

梦晨 衡宇 发自 凹非寺量子位 | 公众号 QbitAI“靠过去的老办法，增长不动了”。无论线上线下都传出这样的声音。如何从“增量竞争”转向“存量竞争”，成了很多行业最大的焦虑。改变，必须改变。于是乎，旅游、汽车、消费、...

一时间，似乎所有与数据库有关的厂商都在提“湖仓一体”，仅从百度新闻搜索查询到权重较高的媒体文章就至少有150多篇。随着企业数字化转型进入深水区，越来越多的企业视“湖仓一体”为数字变革的重要契机，如今湖仓一体受到...

数智化汹涌而来，前驱者已初尝甜头：据《福布斯》披露，《财富》500强公司数据可访问性增加10%，便可带来6,500万美元的额外净收入——“依靠智能算法及敏捷数据准备在数据海洋中提炼‘石油’，让决策更科学”已成为众多企业的...

个中缘由，皆是由用户对于云计算的需求所驱动。在经历多年公有云与私有云孰优孰劣的争论之后，业界普遍意识到云计算的发展不应该被模式所束缚，而需要与用户需求更加贴近。...

​关注DTCC有几年了，还是在当中学到了很多的干货。今年我的大部分时间也都是投入在了数据治理的学习和数据治理工具的调研中。也非常渴望有这种机会去了解一下国内顶尖公司这方面的前沿技术与应用。...

作为程序员，我们写的大多数商业项目，往往都需要用到大量的数据。计算机的内存，可以实现数据的快速存储和访问。

从一体机、超融合到云计算、HTAP，我们不断尝试将多种应用场景融合在一起并试图通过一种技术来解决一类问题，借以达到使用简单高效的目标。现在很热的湖仓一体（Lakehouse）也一样，如果能将数据湖和数据仓库融合在一起就可以...

最近可能大家听到“数据中台”这个词越来越频繁了，有时候我跟一些朋友聊起来，也是都在说这个，但是一直不知道这到底是个什么。最近就看到这篇文章，觉得说的还挺好的，分享给大家看看，希望大家看完能对数据中台有一些认识。...