最新 最热

Hive全库数据迁移方案

考虑到多数场景是迁移整个Hive数据库,该篇文章只介绍迁移的第二种,即元数据及Hive数据全量迁移。

2021-09-26
1

Alluxio集群搭建并整合MapReduce/Hive/Spark

Alluxio是世界上第一个虚拟的分布式存储系统,以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁,使应用程序能够通过一个公共接口连接到许多存储系统。Alluxio以内存为中心的架构使得数据的访问速度能比现有...

2021-09-26
1

万字长文|Hadoop入门笔记(附资料)

大数据迅速发展,但是Hadoop的基础地位一直没有改变。理解并掌握Hadoop相关知识对于之后的相关组件学习有着地基的作用。本文整理了Hadoop基础理论知识与常用组件介绍,虽然有一些组件已经不太常用。但是理解第一批组件的...

2021-09-26
1

[Apache Atlas] Atlas 架构设计及源代码简单分析

This type represents all entities that can be searched for using a unique attribute called qualifiedName.

2021-09-26
1

万字长文|Hadoop入门笔记(附资料)

大数据迅速发展,但是Hadoop的基础地位一直没有改变。理解并掌握Hadoop相关知识对于之后的相关组件学习有着地基的作用。本文整理了Hadoop基础理论知识与常用组件介绍,虽然有一些组件已经不太常用。但是理解第一批组件的...

2021-09-24
1

Hive提高查询效率的八条军规

大家好,我是一哥,今天分享一下Hive如何提升查询效率。Hive作为最常用的数仓计算引擎,是我们必备的技能,但是很多人只是会写Hql,并不会优化,也不知道如何提升查询效率,今天分享8条军规:...

2021-09-23
1

Hive SQL突然抛出一条异常……

客户端的报错信息,并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hiveserver2的日志,可以看到如下相关信息:

2021-09-23
0

打车巨头Uber是如何构建大数据平台?

大家好,我是一哥,最近滴滴出的技术少了,给大家分享一下Uber的大数据平台是如何建设的?

2021-09-23
1

大数据问题排查系列 - HIVE踩坑记

本片博文是“大数据线上问题排查系列”大类别之一,讲述前段时间我司某产品在某券商遇到的一个问题及解决方案,其背后涉及到 hive 的一个 BUG,在 hive 3.0 才修复。以下是正文。...

2021-09-23
0

五万字 | Hive知识体系保姆级教程

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

2021-09-22
0