最新 最热

MySQL各种存储引擎对比

InnoDB存储引擎支持事务,其设计目标主要是面向在线事务处理(OLTP)的应用。其特点是行锁设计、支持外键,支持类似于Oracle的非锁定读,即默认读取操作不会产生锁。...

2021-01-14
0

在shell中使用hiveSQL的注意事项

hive是数据分析人员常用的工具之一。实际工作中,使用hive基本都是在linux shell环境下。运行hiveSQL的方式有以下几种。

2021-01-14
1

生产集群慢job造成节点负载过高影响其他job运行的排查记录

收到业务反馈,在执行任务时很慢,提供了job的ID,经排查发现某些节点CPU负载很高,影响了他的job运行,而节点负载高的开始时间都是9:30左右。

2021-01-14
0

2021-01-13:很多列的数据,任意一列组合查询,mysql....

2021-01-13:很多列的数据,任意一列组合查询,mysql能做到,但是上亿的数据量做不到了,查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗?...

2021-01-14
1

九个最容易出错的 Hive sql 详解及使用注意事项

在进行数仓搭建和数据分析时最常用的就是 sql,其语法简洁明了,易于理解,目前大数据领域的几大主流框架全部都支持sql语法,包括 hive,spark,flink等,所以sql在大数据领域有着不可替代的作用,需要我们重点掌握。...

2021-01-13
0

数据仓库组件:Hive环境搭建和基础用法

Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,是一个可以对Hadoop中的大规模存储的数据进行查询和分析存储的组件,Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将S...

2021-01-12
1

Nebula Exchange 工具 Hive 数据导入的踩坑之旅

摘要:本文由社区用户 xrfinbj 贡献,主要介绍 Exchange 工具从 Hive 数仓导入数据到 Nebula Graph 的流程及相关的注意事项。

2021-01-11
0

Hive on Tez 典型日志内容

Hive on Tez 典型日志内容INFO : Compiling command(queryId=hive_20201014093918_9393118a-0614-4c9e-a6da-865afb5df98d): select count(*) as cnt, new_uv from dm_db. dm_b...

2021-01-08
0

Ranger Hive-HDFS ACL同步

Ranger资源映射服务器(Resource Mapping Server:RMS)可以将访问策略从Hive自动转换为HDFS。

2021-01-08
0

在TPC-DS基准测试中CDP数据仓库的性能比EMR快3倍

在先前有关CDW性能的博客文章中,我们将Azure HDInsight与CDW进行了比较。在此博客文章中,我们使用TPC-DS 2.9基准测试比较了使用Cloudera数据平台(CDP )上的Cloudera数据仓库(CDW)的Apache Hive-LLAP与Amazon上的EMR 6.0(也...

2021-01-08
1