最新 最热

Cloudera私有化,“大数据”时代落幕

Cloudera终于再一次登上了新闻,一瞬间。因为它私有化了。本周二的时候,Cloudera表示被私募基金CD&R和KKR&Co以5.5B的价格给买了,也就是每股16美元。...

2021-07-12
0

实时数据湖:Flink CDC流式写入Hudi

•Flink 1.12.2_2.11•Hudi 0.9.0-SNAPSHOT(master分支)•Spark 2.4.5、Hadoop 3.1.3、Hive 3.1.2

2021-07-12
1

hive学习笔记之九:基础UDF

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器平台;

2021-07-12
1

hive学习笔记之八:Sqoop

Sqoop是Apache开源项目,用于在Hadoop和关系型数据库之间高效传输大量数据,本文将与您一起实践以下内容:

2021-07-09
1

致敬 Apache Sqoop

大家好,我是一哥,昨天看到了过往记忆大佬发了一篇文章,才发现Sqoop这个项目最近不咋好,心里很不是滋味,这个帮助过很多开发者的项目,竟然从Apache顶级项目中“下架”了,今天还是想给大家分享介绍一些这个很棒的项目,致敬!...

2021-07-09
1

hive学习笔记之七:内置函数

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器平台;

2021-07-08
1

hive学习笔记之六:HiveQL基础

结果如下,可见不会根据student表的addressid字段值去address查找记录,而是将addrerss的记录全部连接一次:

2021-07-07
1

大数据入门:Hadoop是如何工作的?

海量数据价值的挖掘,需要大数据技术框架的支持,在目前的大数据平台搭建上,Hadoop是主流的选择之一,而精通Hadoop的大数据人才,也是企业竞相争取的专业技术人才。大数据技术Hadoop所得到的重视,也带来了大家对Hadoop的学习热...

2021-07-06
1

通过数据组织优化加速基于Apache Iceberg的大规模数据分析

数据湖(Data lake)是一种将数据以原始格式存储在同一个系统或存储库的设计思想。它可以实现在一份数据之上进行多种数据计算,以避免为了多种计算场景而导致数据冗余存储和搬迁成本。以数据湖架构建立数据分析平台能让企...

2021-07-06
1

Hadoop和spark:兼容才是可靠的解决方案

说起大数据计算框架,Hadoop和Spark这两者之间,一直都是存在着争议的,甚至一度还出现了Spark会替代Hadoop的声音,但是随着这两年的发展,事实告诉大家,Hadoop和Spark这两者之间,谁也没有消灭谁,都好好地存在着。...

2021-07-05
1