最新 最热

Hadoop和Spark技术分享.ppt

Why Hive 相对于使用MapReduce,为什么使用Hive ?MapReduce实现复杂业务逻辑开发难度大Hive提供类SQL语法,避免写MapReduce程序,开发相对快速扩展功能方便,支持自定义函数适合于做数据仓库工具,如ETL处理,数据分析等Why Spark...

2021-07-15
1

hive学习笔记之十一:UDTF

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器平台;

2021-07-15
0

Datahub 0.8.5发布! 通用的元数据搜索和发现工具

近期Datahub 发布了最新的版本0.8.5,作为LinkedIn开源的通用的元数据搜索和发现工具。Datahub近一年来有了巨大的发展,也成为了很多公司进行元数据管理的调研方向并进行使用的选择。...

2021-07-15
1

Datahub 0.8.5发布! 通用的元数据搜索和发现工具

近期Datahub 发布了最新的版本0.8.5,作为LinkedIn开源的通用的元数据搜索和发现工具。Datahub近一年来有了巨大的发展,也成为了很多公司进行元数据管理的调研方向并进行使用的选择。...

2021-07-14
1

hive学习笔记之十:用户自定义聚合函数(UDAF)

执行结果如下,可见guangdong的guangzhou和shenzhen总长度为17,jiangsu的nanjing为7,shanxi的xian和hanzhong总长度12,符合预期:

2021-07-14
0

[1022]Hive insert 字段表错位

查询来的数据没发现有什么异常;照理说逐字段查出来没问题,再逐字段插入应该不会错位。实际上 hive 的 insert 跟想象中传统的 insert 不太一样。

2021-07-14
0

大数据开发:Hadoop Hive和Spark的对比

在大数据处理框架不断更新和优化的过程中,Hadoop和Spark之间既有竞争关系,也有相互协同的需求。比方说Hive和Spark,在一段时间内,很多人认为Spark会代替Hive,作为Hadoop的数据仓库,Hive真的已经落后了吗?...

2021-07-13
1

详解PHP素材图片上传、下载功能

这里的下载是生成 zip 包进行下载,所以需要 PHP 的ZipArchive ()类,使用本类,linux需开启zlib,windows需取消php_zip.dll前的注释。并且不包括 oss 之类的三方

2021-07-13
0

滴滴出行大数据数仓实战

作为技术人,我是不怎么八卦的,奈何这次国家重拳整理的是“大数据乱象”,manor作为大数据专业的学生,不得不关注此次的滴滴事件。

2021-07-13
1

Presto原理&调优&面试&实战全面升级版

很久之前,曾经写过一篇 《Presto在大数据领域的实践和探索》 。文中详细讲解了Presto的原理和应用。

2021-07-12
1