最新 最热

hive(4)——元数据概述

前面我所用的表hive_table其实用hive查询时查得还是hdfs上的数据,那我们用mysql到底是存储的什么,元数据到底是什么? 元数据其实是数据的类型和我们用hive怎么拆分这个表的信息的合集,比如说我去查看我的mysql上的元数据...

2020-11-11
0

hive(3)——使用mapreduce

当查询数据复杂时,hive就会调用hadoop里的mapreduce,前提:开启hdfs和yarn服务。

2020-11-11
1

hive(2)——hive基本操作

前提:开启hadoop,关闭safe模式(关闭safe模式命令:hdfs dfsadmin -safemode leave) (1)创建一个数据库hive_test

2020-11-11
0

hive(1)——用mysql进行元数据存储

Hive可以将结构化的数据映射为一张数据表 而默认hive进行存储的数据库是derby 启动我们的hadoop服务 当我们安装好hive后,要将mysql-connector-java-xx.jar的文件包放到hive目录下的lib文件夹下:...

2020-11-11
0

大数据快速入门(10):Hive窗口函数

首先,需要认识到,窗口函数并不是只有 hive 才有的,SQL 语法标准中,就有窗口函数。

2020-11-11
0

数据仓库之Hive快速入门 - 离线&实时数仓架构

了解了Hive中的SQL基本操作之后,我们来看看Hive是如何将SQL转换为MapReduce任务的,整个转换过程分为六个阶段:

2020-11-11
0

【三歪教你些能装逼的】麒麟入门教程

由于工作需要,前段时间对kylin简单入了个门,现在来写写笔记(我的文字或许能帮助到你入门kylin,至少看完这篇应该能知道kylin是干什么的)。

2020-11-11
1

PHP的rar解压读取扩展包学习

作为压缩解压方面的扩展学习,两大王牌压缩格式 rar 和 zip 一直是计算机领域的压缩终结者。rar 格式的压缩包是 Windows 系统中有接近统治地位的存在,今天我们学习的 PHP 扩展就是针对于 rar 的压缩包操作,不过,PHP 的 ra...

2020-11-11
0

使用 Iceberg on Kubernetes 打造新一代云原生数据湖

作者徐蓓,腾讯云容器专家工程师,10年研发经验,7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 背景 大数据发展至今,按照 Google 2003年发布的《The Google File System》第一篇...

2020-11-09
0

Hive性能调优 | 并行执行/严格模式/JVM重用/推测执行

通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict,开启严格模式可以禁止3种类型的查询。

2020-11-06
1