最新 最热

2021年大数据Hive(一):​​​​​​​Hive基本概念

Hive是一个构建在Hadoop上的数据仓库框架。最初,Hive是由Facebook开发,后来移交由Apache软件基金会开发,并作为一个Apache开源项目。

2021-10-11
0

2021年大数据Hive(四):Hive查询语法

1、ORDER BY用于全局排序,就是对指定的所有排序键进行全局排序,使用ORDER BY的查询语句,最后会用一个Reduce Task来完成全局排序。解释:

2021-10-11
0

2021年大数据Hive(九):Hive的数据压缩

在实际工作当中,hive当中处理的数据,一般都需要经过压缩,可以使用压缩来节省我们的MR处理的网络带宽

2021-10-11
0

2021年大数据Hive(十一):Hive调优

大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过,有时Hive的输入数据量是非常小的。在这种情况下,为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。对于大多数这种情况,Hive可...

2021-10-11
0

2021年大数据HBase(二):HBase集群安装操作

HBase集群安装操作一、上传解压HBase安装包tar -xvzf hbase-2.1.0.tar.gz -C ../server/二、修改HBase配置文件1、hbase-env.shcd /export/server/hbase-2.1.0/confvim hbase-env.sh# 第28行......

2021-10-11
1

万文讲解Hive 中的排序和开窗函数

排序操作是一个比较常见的操作,尤其是在数据分析的时候,我们往往需要对数据进行排序,hive 中和排序相关的有四个关键字,今天我们就看一下,它们都是什么作用。...

2021-10-11
0

React Hook | 必 学 的 9 个 钩子

React Hook 指南什么是 Hook ?❝Hook 是 React 16.8 的新增特性。它可以让你在不编写 class 的情况下使用 state 以及其他的 React 特性。Hook 本质上就是一个函数,它简洁了组件,有自己的状态管理,生命周期管理,状态共享。...

2021-10-11
0

2021年大数据常用语言Scala(二十):函数式编程 介绍

我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。

2021-10-11
0

2021年大数据常用语言Scala(二十七):函数式编程 聚合操作

def reduce[A1 >: A](op: (A1, A1) ⇒ A1): A1

2021-10-11
0

2021年大数据Spark(十四):Spark Core的RDD操作

有一定开发经验的读者应该都使用过多线程,利用多核 CPU 的并行能力来加快运算速率。在开发并行程序时,可以利用类似 Fork/Join 的框架将一个大的任务切分成细小的任务,每个小任务模块之间是相互独立的,可以并行执行,然后将...

2021-10-09
0