最新 最热

Hive全局排序解决之道

但在Hive中使用全局排序时,需要注意,Hive会将所有数据交给一个Reduce任务计算,实现查询结果的全局排序。所以如果数据量很大,只有一个Reduce会耗费大量时间。...

2021-01-06
1

Hive Join方式与优化

Hive支持的Join方式有Inner Join和Outer Join,这和标准SQL一致。除此之外,还支持一种特殊的Join:Left Semi-Join。

2021-01-06
0

彻底打通实时数据仓库该如何实现及多种技术架构解析

问题导读1.实时数据仓库有哪些特点?2.公司构建实时数据仓库有哪些好处?3.如何构建实时数据仓库?4.实时数据仓库本文解析了哪些架构?越来越多的实时数据需求,需要更多的实时数据来做业务决策,例如需要依据销售情况做一个资源...

2021-01-05
0

数据资产治理-元数据采集那点事

数据资产治理(详情见:数据资产,赞之治理)的前提要有数据。它要求数据类型全、量大,并尽可能多地覆盖数据流转的各个环节。元数据采集就变得尤其重要,它是数据资产治理的核心底座。...

2020-12-31
1

大数据开发:Hive小文件合并

Hadoop生态技术体系下,负责大数据存储管理的组件,涉及到HDFS、Hive、Hbase等。Hive作为数据仓库工具,最初的存储还是落地到HDFS上,这其中就有一个关键的环节,是小文件的处理。今天的大数据培训分享,我们就主要来讲讲,Hive小...

2020-12-30
1

计算引擎之下,存储之上 - 数据湖初探

随着移动互联网,物联网技术的发展,数据的应用逐渐从 BI 报表可视化往机器学习、预测分析等方向发展,即 BI 到 AI 的转变。

2020-12-29
1

大数据OLAP系统(2)——开源组件篇

开源大数据OLAP组件,可以分为MOLAP和ROLAP两类。ROLAP中又可细分为MPP数据库和SQL引擎两类。对于SQL引擎又可以再细分为基于MPP架构的SQL引擎和基于通用计算框架的SQL引擎:...

2020-12-28
1

Redis系列(十八)独立功能之hyperloglog

Redis 提供了很多精巧的独立功能,本文介绍 HyperLogLog, 它可以称作唯一性统计的利器了。

2020-12-23
0

如何从0到1搭建大数据平台

大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发,大数据价值在越来越多的场景中被挖掘,随着大家都在使用欧冠大数据,大数据平台的搭建门槛也越来越低。借助...

2020-12-22
0

打工人必备:Hive小文件合并与数据压缩

Hive仓库表数据最终是存储在HDFS上,由于Hadoop的特性,对大文件的处理非常高效。而且大文件可以减少文件元数据信息,减轻NameNode的存储压力。但是在数据仓库中,越是上层的表汇总程度就越高,数据量也就越小,而且这些表通常会...

2020-12-18
0