最新 最热

大数据的未来发展前景:大数据与AI的亲密关系

在当今这个信息爆炸的时代,大数据已经成为推动各行各业发展的重要引擎。今天,我们将带你一起探讨大数据的未来发展前景,以及它与人工智能(AI)之间的亲密关系。准备好迎接这场知识的盛宴了吗?...

2024-09-09
1

客快物流大数据项目(八十):用户标签开发

​用户标签开发一、​​​​​​​​​​​​​​用户首单时间SELECT t1.cid, t1.cdt, t2.nameFROM (SELECT tcsi.ciid AS cid, MIN(tcsi.cdt) AS cdt FROM tbl_consumer_sender_info tcsi ......

2022-12-19
1

大数据入门学习框架

​大数据入门学习框架前言利用框架的力量,看懂游戏规则,才是入行的前提大多数人不懂,不会,不做,才是你的机会,你得行动,不能畏首畏尾选择才是拉差距关键,风向,比你流的汗水重要一万倍,逆风划船要累...

2022-10-09
1

大数据调度平台Airflow(八):Airflow分布式集群搭建及测试

默认Airflow安装在$ANCONDA_HOME/envs/python37/lib/python3.7/site-packages/airflow目录下。配置了AIRFLOW_HOME,Airflow安装后文件存储目录在AIRFLOW_HOME目录下。可以每台节点查看安装Airflow版本信息:...

2022-09-25
1

数据治理(十四):Ranger同步Linux用户

同步Linux中的用户需要用到RangerUsersync模块,这个模块需要单独安装,主要可以将Linux机器上的用户和组信息同步到Ranger中管理。

2022-09-09
1

数据治理(四):数据仓库数据质量管理

下面我们针对音乐数据中心数仓项目第四个业务:“统计地区营收情况业务”来说明数据质量如何进行管理。此业务数据质量管理重点放在 ODS层,EDS层(DWD层、DWS层)、DM层几个方面,每层数据校验的内容不一样,我们可以通过自己编...

2022-08-09
1

(4)FlinkSQL将socket数据写入到mysql方式一

本章节主要演示从socket接收数据,通过滚动窗口每30秒运算一次窗口数据,然后将结果写入Mysql数据库

2022-08-08
1

数据中台建设(五):打破企业数据孤岛和提取数据价值

要构建企业级数据中台,第一步就是将企业内部各个业务系统的数据实现互联互通,打破数据孤岛2,主要通过数据汇聚和交换来实现。

2022-07-29
1

数据中台建设(六):数据体系建设

数据中台是企业数据汇集地,但并不是简单的数据堆积,而是进行分层建模,数据体系建设最终呈现一套完整、规范、准确的数据。数据体系建设就是大数据中数据仓库建设。如下图:...

2022-07-22
1

客快物流大数据项目(六十七):客户主题

客户明细宽表数据需要保存到kudu中,因此在第一次执行客户明细拉宽操作时,客户明细宽表是不存在的,因此需要实现自动判断宽表是否存在,如果不存在则创建...

2022-05-16
1