最新 最热

Hue集成Hive

上一篇博客为大家介绍了Hue集成HDFS,本篇我们继续,为大家带来Hue如何集成Hive!

2021-01-26
1

Hive中的复合数据类型

在正式开始之前,先让我们来看下Hive中所有的数据类型吧!

2021-01-26
0

大数据开发:Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下,Hive作为Hadoop生态当中的数仓组件工具,在于Spark生态的配合当中,开始有了Hive on Spark的思路,那么具体是怎么实现的呢?今天的大数据开发分享,我们来讲讲Hive on Spark设计原则及...

2021-01-25
1

Hive性能优化之推测执行(6)

在分布式集群环境下,因为程序Bug(包括Hadoop本身的bug),负载不均衡或者资源分布不均等原因,会造成同一个作业的多个任务之间运行速度不一致,有些任务的运行速度可能明显慢于其他任务(比如一个作业的某个任务进度只有50%,而其...

2021-01-22
1

Hive性能调优之JVM重用(5)

JVM重用是Hadoop调优参数的内容,其对Hive的性能具有非常大的影响,特别是对于很难避免小文件的场景或task特别多的场景,这类场景大多数执行时间都很短。...

2021-01-22
1

Hive性能调优之严格模式(4)

通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict,开启严格模式可以禁止3种类型的查询。

2021-01-22
1

Hive性能调优之Fetch抓取(1)

我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。

2021-01-22
1

Hive的数据压缩介绍及使用

在实际工作当中,hive当中处理的数据,一般都需要经过压缩,前期我们在学习hadoop的时候,已经配置过hadoop的压缩,我们这里的hive也是一样的,可以使用压缩来节省我们的MR处理的网络带宽。...

2021-01-22
1

Hive经典简答题

什么是Hive? Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)。 2.HIve的意义(最初研发的原因) 减少开发人员...

2021-01-22
0

Hive表数据的加载与导出

insert into table score3 partition(month =‘201807’) values (‘001’,‘002’,‘100’);

2021-01-22
0