最新 最热

几个关于MapReduce的小例子

上一篇文章通过写一个WordCount学习了MapReduce的入门操作,那么这篇文章继续通过多一些例子来学习MapReduce。下面介绍几种比较常见的操作:排序,去重,求和,求平均数,TopK查询(查询排名前K名的记录)...

2022-03-15
1

「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成

hive 查询hudi 数据主要是在hive中建立外部表数据路径指向hdfs 路径,同时hudi 重写了inputformat 和outpurtformat。因为hudi 在读的数据的时候会读元数据来决定我要加载那些parquet文件,而在写的时候会写入新的元数据...

2022-03-11
1

Apache顶级项目Ambari正式宣告退役!

Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控工具,曾是 Apache Software Foundation 的顶级项目。

2022-03-11
0

中国联通大数据资产管理平台设计与研发实践

今天早上例行上报健康码和行程卡,发现行程卡无法登陆,报数据异常错误,就和老同事打了个电话确认下,才知道行程卡数据服务是由移动集团公司统一提供的,如果当初没离开移动,负责行程卡数据的应该是我了,其实每个技术人的梦想都...

2022-03-11
0

从数据仓库到大数据平台再到数据中台

现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台; 平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数...

2022-03-11
0

Hadoop 诞生的历史

Hadoop 这个名称来源于一种已经灭绝的猛犸象,即 Yellow Hadoop。

2022-03-11
1

数仓用户行为漏斗分析数如何SQL实现(第一节)

1 每日活跃设备明细 dwd_start_log--->dws_uv_detail_day

2022-03-09
1

数仓用户行为漏斗分析如何SQL实现(第三节)

sum(order_count) gmv_count 、 sum(order_amount) gmv_amount 、sum(payment_amount) payment_amount 过滤日期,以dt分组;

2022-03-09
0

一脸懵逼学习Nginx及其安装,Tomcat的安装

反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器。...

2022-03-09
1

图解大数据 | 实操案例-Hadoop系统搭建与环境配置

教程地址:http://www.showmeai.tech/tutorials/84

2022-03-08
0