最新 最热

hive之路7-hive之DDL操作

在Hive中,数据库是一个命名空间或表的集合。创建了数据库之后,在HDFS上的存储路径默认为/usr/hive/warehouse/*.db具体语法为:

2021-03-02
0

hive之路9-hive索引和视图

本文中主要是介绍了hive中索引和视图的相关操作。 修改表修改表主要是对表的结构和属性进行操作,包含:重命名alter table oldname rename to new_table;修改表属性alter table table_name set tblproperties (property_...

2021-03-02
0

sqoop之旅1-初识与安装

sqoop是Apache旗下一款Hadoop和关系型数据服务器之间传送数据的的工具,其核心功能主要是两点:

2021-03-02
0

Spark笔记11-Spark-SQL基础

Hive会将SQL语句转成MapReduce作业,本身不执行SQL语句。 基本执行原理如下图:

2021-03-02
1

MySQL学习13_数据库引擎

一个数据库中多个表可以使用不同引擎以满足各种性能和实际需求,使用合适的存储引擎,将会提高整个数据库的性能

2021-03-02
0

hive函数2-集合相关

hive函数-2-集合相关本文中介绍的是hive和集合相关的函数:size()map_keys()map_values()array_contains()sort_array()size

2021-03-01
0

「SAP技术」SAP MM 事务代码ME17的用法

点击start date和spool parameters按钮分别维护好相关参数,

2021-03-01
0

Flink集成iceberg在生产环境中的实践

目前我们的大数据系统里,主要承接的业务是部门内的一些业务日志数据的统计、分析等,比如网关日志数据,服务器监控数据,k8s容器的相关日志数据,app的打点日志等。主要的流任务是flink任务是消费kafka的数据,经过各种处理之后...

2021-02-26
1

Hive读取索引文件问题:select * 和select count(*)读取出来的行数不一致

这是当时创建表时的语句,指定了存储格式为lzo,然后执行了为lzo文件创建索引的命令

2021-02-22
0

Flink集成数据湖之实时数据写入iceberg

随着大数据处理结果的实时性要求越来越高,越来越多的大数据处理从离线转到了实时,其中以flink为主的实时计算在大数据处理中占有重要地位。

2021-02-07
0