最新 最热

hive的安装

不要使用此安装方式,讲述这种安装方式,仅仅用于测试hive默认使用derby数据库的缺陷。你可以在下面的安装步骤中看到,我连环境变量都没有配置。

2021-11-25
1

hive的初认识

1、hive的产生背景

2021-11-25
1

大数据平台之binlog采集方案

大数据平台的采集功能是从外部数据源采集数据存储到hive,采集方式分为全量采集、增量采集,增量采集适用于数据规模较大情况,有很多使用场景,但是在增量采集时,平台只能感知数据新增、更新,无法感知到数据删除,为了解决这个问...

2021-11-23
1

超详细步骤!整合Apache Hudi + Flink + CDH

使用Idea打开Hudi项目,更改packging/hudi-flink-bundle的pom.xml文件,修改flink-bundle-shade-hive2 profile下的hive-version为chd6.3.0的版本

2021-11-19
1

常见开源OLAP技术架构对比

OLAP(On-line Analytical Processing,联机分析处理)是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP(On-line Transaction Processing,联机事务处理)的区别来看一下它的特点:...

2021-11-09
1

Hive计算引擎大PK,万字长文解析MapRuce、Tez、Spark三大引擎

Hive从2008年始于FaceBook工程师之手,经过10几年的发展至今保持强大的生命力。截止目前Hive已经更新至3.1.x版本,Hive从最开始的为人诟病的速度慢迅速发展,开始支持更多的计算引擎,计算速度大大提升。...

2021-11-05
1

ByteLake:字节跳动基于Apache Hudi的实时数据湖平台

一篇关于字节跳动基于 Apache Hudi 的实时数据湖平台 ByteLake 的分享。

2021-11-04
1

升级到 CDP 私有云基础 - 分步指南

我们最近的博客讨论了从传统平台到 CDP 私有云基础的四种途径。在本博客和随附的视频中,我们将深入探讨运行从 CDH5 或 CDH6 到 CDP 私有云基础的就地升级的机制。整体升级遵循如下所示的七个步骤。...

2021-11-02
1

mysql 导出数据

mysql -uuser -hhost -ppws -C -N -e "select * from bi_datacenter.dc_behavior limit 0,20000000" >behavor1

2021-11-01
1

一种魔性的C++内嵌脚本的方式

最近在处理框架代码脚本模块的封装, 然后有一些系统级的脚本想内嵌, 又没找到特别合适的方法, 直到看到hive-framework的代码:

2021-10-29
1