最新 最热

通过 Flink SQL 使用 Hive 表丰富流

流处理是通过在数据运动时对数据应用逻辑来创造商业价值。很多时候,这涉及组合数据源以丰富数据流。Flink SQL 执行此操作并将您应用于数据的任何函数的结果定向到接收器中。业务用例,例如欺诈检测、广告印象跟踪、医疗...

2022-12-02
1

【公告】CDP私有云基础7.1.8发布

我们很高兴地宣布 Cloudera Data Platform (CDP) Private Cloud (PvC) Base 7.1.8 和 Cloudera Manager 7.7.1 的发布,它们引入了关键的新功能,以改进为您的业务用户提供的分析能力,增强企业准备,以及额外的第三方支持。...

2022-12-02
1

在 CDP中使用Iceberg 为数据湖仓增压

我们很高兴地宣布在 Cloudera 数据平台 (CDP) 中全面推出 Apache Iceberg。Iceberg 是 100% 开放的表格格式,由Apache Software Foundation开发,帮助用户避免供应商锁定。今天的一般可用性公告涵盖了在 Cloudera 数据平...

2022-12-02
1

为什么mysql的count()方法这么慢?

此时还会有一个异步线程不断的捞起未发送(state=0)的短信数据,执行发短信操作,发送成功之后state字段会被置为1(已发送)。也就是说未发送的数据会不断变少。...

2022-12-02
1

Hive-分区分桶操作

将数据按照指定的字段进行分成多个桶中去,说白了就是将数据按照字段进行划分,可以将数据按照字段划分到多个文件当中去

2022-12-01
1

Hive-分区分桶概述

分区是表的部分列的集合,可以为频繁使用的数据建立分区,这样查找分区中的数据时就不需要扫描全表,这对于提高查找效率很有帮助。

2022-12-01
1

Hive-beeline服务

Hive客户端工具后续使用了Beeline 替代HiveCLI ,并且后续版本也会废弃掉HiveCLI 客户端工具,Beeline是 Hive 0.11版本引入的新命令行客户端工具,它是基于SQLLine CLI的JDBC客户端。...

2022-12-01
1

Hive-配置安装

1、解压到指定位置tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/local/apps/ 2、改名mv apache-hive-3.1.2-bin/ hive-3.1.2 3、在·conf·目录下添加Hadoop安装路径mv hive-env.sh.template h......

2022-12-01
1

Hive-原理解析

1、用户接口:CLI(hive shell);JDBC(java访问Hive);WEBUI(浏览器访问Hive) 2、元数据:MetaStore 元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段,标的类型(表是否为外部表)、表的数据所在目录。这是数据默...

2022-12-01
1

Hive-简介入门

它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

2022-12-01
1