最新 最热

云原生时代的到来,Hive会被替代吗

Apache Hive 在 2010 年作为 Hadoop 生态系统的一个组成部分突然出现,当时 Hadoop 是进行大数据分析的新颖且创新的方式。

2022-03-22
1

大白话详解大数据hive知识点,老刘真的很用心(2)

前言:老刘不敢说写的有多好,但敢保证尽量用大白话把自己复习的内容详细解释出来,拒绝资料上的生搬硬套,做到有自己的了解!

2022-03-18
1

什么是麒麟(kylin)?查数据贼快的哟

由于工作需要,前段时间对kylin简单入了个门,现在来写写笔记(我的文字或许能帮助到你入门kylin,至少看完这篇应该能知道kylin是干什么的)。

2022-03-17
1

Hive常用参数调优十二板斧

hive.limit.optimize.enable=true --- 开启对数据源进行采样的功能 hive.limit.row.max.size --- 设置最小的采样容量 hive.limit.optimize.limit.file --- 设置最大的采样样本数

2022-03-14
1

Hive常用函数大全一览「建议收藏」

Hive常用函数大全一览1 关系运算1.1 1、等值比较:=1.2 2、不等值比较:1.3 3、小于比较:<1.4 4、小于等于比较:<=1.5 5、大于比较:>

2022-03-12
1

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务),Likee (短视频创作分享平台),IMO (免费通信工具) 三部分,在全球范围内拥有 4 亿用户。伴随着业务的发展,对数据平台...

2022-03-12
1

「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成

hive 查询hudi 数据主要是在hive中建立外部表数据路径指向hdfs 路径,同时hudi 重写了inputformat 和outpurtformat。因为hudi 在读的数据的时候会读元数据来决定我要加载那些parquet文件,而在写的时候会写入新的元数据...

2022-03-11
1

Atlas血缘分析在数据仓库中的实战案例

1.1 执行SQL1.2 手写的数据地图1.3 atlas血缘分析1.4 打标签1.4.1 CLASSIFICATION分类1.4.2 GLOSSARY词汇表1.5 字段搜索1.5.1查看表字段1.5.2 追踪字段关系

2022-03-11
1

hive面试题汇总

order by:order by 是要对输出的结果进⾏全局排序,这就意味着只有⼀个reducer才能实现(多个reducer⽆法保证全局有序)但是当数据量过⼤的时候,效率就很低。如果在严格模式下(hive.mapred.mode=strict),则必须配合limit使⽤...

2022-03-11
1

实践 | 为 Trackr app 适配大屏幕设备

Trackr 是一个可以管理任务的示例应用,除了主要用于从支持辅助功能的角度探索通用的 UI 范例外,它还是我们展示现代 Android 开发最佳实践的示例之一。近期我们为它适配了大屏幕设备,所以不妨一起看看怎样在应用中使用 M...

2022-03-10
1