在Hive中,数据库是一个命名空间或表的集合。创建了数据库之后,在HDFS上的存储路径默认为/usr/hive/warehouse/*.db具体语法为:
本文中主要是介绍了hive中索引和视图的相关操作。 修改表修改表主要是对表的结构和属性进行操作,包含:重命名alter table oldname rename to new_table;修改表属性alter table table_name set tblproperties (property_...
sqoop是Apache旗下一款Hadoop和关系型数据服务器之间传送数据的的工具,其核心功能主要是两点:
Hive会将SQL语句转成MapReduce作业,本身不执行SQL语句。 基本执行原理如下图:
一个数据库中多个表可以使用不同引擎以满足各种性能和实际需求,使用合适的存储引擎,将会提高整个数据库的性能
hive函数-2-集合相关本文中介绍的是hive和集合相关的函数:size()map_keys()map_values()array_contains()sort_array()size
点击start date和spool parameters按钮分别维护好相关参数,
目前我们的大数据系统里,主要承接的业务是部门内的一些业务日志数据的统计、分析等,比如网关日志数据,服务器监控数据,k8s容器的相关日志数据,app的打点日志等。主要的流任务是flink任务是消费kafka的数据,经过各种处理之后...
这是当时创建表时的语句,指定了存储格式为lzo,然后执行了为lzo文件创建索引的命令
随着大数据处理结果的实时性要求越来越高,越来越多的大数据处理从离线转到了实时,其中以flink为主的实时计算在大数据处理中占有重要地位。