最新 最热

一张图,详解大数据技术架构

从这张大数据的整体架构图上看来,大数据的核心层应该是:数据采集层、数据存储与分析层、数据共享层、数据应用层,可能叫法有所不同,本质上的角色都大同小异。...

2021-10-27
0

Hive计算引擎大PK,万字长文解析MapRuce、Tez、Spark三大引擎

Hive从2008年始于FaceBook工程师之手,经过10几年的发展至今保持强大的生命力。截止目前Hive已经更新至3.1.x版本,Hive从最开始的为人诟病的速度慢迅速发展,开始支持更多的计算引擎,计算速度大大提升。...

2021-10-27
1

Hive重点难点:Hive原理&优化&面试(上)

Hive SQL的执行计划描述SQL实际执行的整体轮廓,通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑,掌握了执行逻辑也就能更好地把握程序出现的瓶颈点,从而能够实现更有针对性的优化。此外还能帮助开发者识别看似...

2021-10-25
1

实时离线一体化技术架构(万字,15张图)

基于TB级的在线数据,支持缴费帐单明细在线查询。大家都知道,像银行帐单流水一样,查几年的流水是常有的事。

2021-10-22
1

hudi同步hive出现错误java.lang.NoSuchMethodError

flink写入hudi,开启自动同步hudi表结构如下:CREATE TABLE myhive.test.hudi_users2_m_has_s ( id BIGINT PRIMARY KEY NOT ENFORCED, name STRING, birthday TIMES...

2021-10-22
0

大数据必知必会 | Hive架构设计和原理

大家好,我是梦想家 Alex 。在上一篇文章 简单介绍 HDFS,MapReduce,Yarn 的 架构思想和原理,收获和反响还不错,那本篇内容,我们继续,本篇文章,我来为大家介绍 Hive 架构思想和设计原理。...

2021-10-22
1

看完了108份面试题,我为你总结出了这 10 个【Hive】高频考点(建议收藏)

之前听 CSDN 头牌博主 @沉默王二 说过一句话,我觉得十分在理:处在互联网时代,是一种幸福,因为各式各样的信息非常容易触达,如果掌握了信息筛选的能力,就真的是“运筹帷幄之中,决胜千里之外”。就像现在各行业都内卷不断,我们...

2021-10-22
0

从 0 到 1 学习 Presto,这一篇就够了

Presto 作为现在在企业中流行使用的即席查询框架,已经在不同的领域得到了越来越多的应用。本期内容,我会从一个初学者的角度,带着大家从 0 到 1 学习 Presto,希望大家能够有所收获!...

2021-10-22
0

用户画像 | 标签数据存储之Elasticsearch真实应用

上一篇文章已经为大家介绍了 HBase 在用户画像的标签数据存储中的具体应用场景,本篇我们来谈谈 Elasticsearch 的使用!

2021-10-22
1

用户画像 | 标签数据存储之HBase真实应用

上一篇文章已经为大家介绍了 MySQL 在用户画像的标签数据存储中的具体应用场景,本篇我们来谈谈 HBase 的使用!

2021-10-22
1