最新 最热

通俗易懂讲数据仓库之【缓慢变化维】

本篇博客,博主为大家带来的是关于数据仓库中一个非常重要的知识点缓慢变化维的讲解!

2021-01-27
1

大数据实战【千亿级数仓】阶段二

本篇博客,博主为大家带来的是大数据实战【千亿级数仓】阶段二的内容。

2021-01-27
0

大数据实战【千亿级数仓】阶段一

最近开始上手一个大数据离线数仓项目。本篇博客先为大家进行一个总体的介绍,包括各个阶段的任务以及项目的简介,环境,需求等等…

2021-01-27
0

这10个常用的Kettle操作,你不会不行!

在上一篇博客《一招教你用Kettle整合大数据和Hive,HBase的环境!》中,已经为大家介绍了Kettle高阶操作中所需要涉及到与Hadoop,Hive,HBase等组件的环境配置过程。本篇,就让我们正式步入到Kettle的常用操作中。...

2021-01-27
0

秋名山老司机从上车到翻车的悲痛经历,带你深刻了解什么是Spark on Hive!

本篇博客,博主为大家分享的内容是如何实现Spark on Hive,即让Hive只作为存储角色,Spark负责sql解析优化,执行…话不多说,直接上车!

2021-01-27
0

如何 debug Hive 源码,知其然知其所以然

最近在出差,客户现场的 HiveServer 在很长时间内不可用,查看 CM 的监控发现,HiveServer 的内存在某一时刻暴涨,同时 JVM 开始 GC,每次 GC 长达 1 分钟,导致很长时间内,整个 HiveServer 不可用。...

2021-01-27
0

Spark之【SparkSQL编程】系列(No1)——《SparkSession与DataFrame》

上一篇博客已经为大家介绍完了SparkSQL的基本概念以及其提供的两个编程抽象:DataFrame和DataSet,本篇博客,博主要为大家介绍的是关于SparkSQL编程的内容。考虑到内容比较繁琐,故分成了一个系列博客。本篇作为该系列的第一...

2021-01-27
0

解决Hbase远程连接失效ava.io. IOException: org. apache. hadoop.hbase. client.RetriesExhausted Exception Faile

今天在使用DataGrip连接hive数据库浏览数据的时候,发现hive数据库中与hbase映射的hive数据表查询不了了,双击数据表加载半天出现下面的异常。

2021-01-27
1

hive远程连接失败?Could not open client transport with JDBC Uri: jdbc:hive2:异常解决

有一段时间没有关集群了。今天由于业务需求需要重启集群,结果在使用DataGrip连接hive数据库的时候报了这个异常!

2021-01-27
0

解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

今天在使用Hadoop集群上的Hive时,结果出现了以下的情况。 hive (default)> show databases; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.Runtime......

2021-01-27
0