最新 最热

「Hive进阶篇」万字长文超详述hive企业级优化

原创推文链接:https://mp.weixin.qq.com/s/GHwYVEwAS8WgNBLb14NC4A

2022-10-29
1

hive环境搭建

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar

2022-10-26
1

docker-compose部署hive、kafka服务

参考了一些 https://www.likecs.com/show-152186.html 中的信息,去 https://github.com/big-data-europe/docker-hive 中把下载 docker-compose.yml 和 hadoop-hive.env 放在 docker-hive路径下,......

2022-10-24
1

Superset sqllab连接hive无法显示表信息的问题

使用superset,连接hive时(hive的引擎是spark),表名和表信息无法加载,加载出来了一堆表的数据库名

2022-10-17
1

K8s部署docker镜像 Superset,无法查看配置的Hive连接信息

1、连接hive不是真正的hive,而是由kyuubi+spark并接入hive元数据库搭建的,用来替代运行效率慢的hive且也可以提供jdbc连接

2022-10-13
1

Spark任务写数据到s3,执行时间特别长

目前使用s3替代hdfs作为hive表数据存储,使用spark sql insert数据到hive表,发现一个简单的查询+插入任务,查询+insert的动作显示已经执行完,任务还在跑,直到跑了两个小时后才执行结束。...

2022-10-11
1

0897-7.1.7-CDP中如何通过Ranger为UDF授权

1.文档编写目的本片文档主要讲述了在Ranger中对Hive的UDF函数进行授权的方式。分别测试了对HDFS上和本地的UDF的授权。测试环境CDP7.1.7,集群启用了Kerberos使用一个普通用户liuyq测试,该用户有udf_test库的权限2.HDFS...

2022-10-10
0

大数据Presto(二):Presto安装搭建

https://prestodb.io/docs/current/installation/deployment.html#installing-presto

2022-10-08
1

大数据Presto(一):Presto介绍

Presto是Facebook在2012年开发的,是专为Hadoop打造的一款数据仓库工具。在早期Facebook依赖Hive做数据分析,Hive底层依赖MapReduce,随着数据量越来越大,使用Hive进行数据分析,时间可能需要分钟级到小时级别,不能满足交互式...

2022-10-07
1

最容易出错的 Hive Sql 详解

在进行数仓搭建和数据分析时最常用的就是 sql,其语法简洁明了,易于理解,目前大数据领域的几大主流框架全部都支持sql语法,包括 hive,spark,flink等,所以sql在大数据领域有着不可替代的作用,需要我们重点掌握。...

2022-10-05
1