在Hive中会有很多数据是用Json格式来存储的，如开发人员对APP上的页面进行埋点时，会将多个字段存放在一个json数组中，因此数据平台调用数据时，要对埋点数据进行解析。接下来就聊聊Hive中是如何解析json数据的。...

数据倾斜是分布式系统不可避免的问题，任何分布式系统都有几率发生数据倾斜，但有些小伙伴在平时工作中感知不是很明显。这里要注意本篇文章的标题—“千亿级数据”，为什么说千亿级，因为如果一个任务的数据量只有几百万，它即...

AWS Glue是Amazon Web Services(AWS)云平台推出的一款无服务器(Serverless)的大数据分析服务。对于不了解该产品的读者来说，可以用一句话概括其实质：Glue是一个无服务器的全托管的Spark运行环境，只需提供Spark程序代码即...

在网易集团内部有大大小小几百套 hive 集群，为了满足网易猛犸大数据平台的元数据统一管理的需求，我们需要将多个分别独立的 hive 集群的元数据信息进行合并，但是不需要移动 HDFS 中的数据文件，比如可以将 hive2、hive3、h...

2021年5月1日-3日，QQ潮玩展2021即将在深圳（福田）会展中心举办，倒计时已经启动，潮流艺术盛宴即将开始。 本次QQ潮玩展邀请到Archive Editions与QTX联名展中展，国际顶尖艺术家Daniel Arsham与Archive Editions合作的系列，即将...

QQ潮玩展倒计时开始！今年五一，顽鹅工厂释放无限潮力，打造顶级潮流艺术体验！顽鹅即将出厂，所有的CQQL PLAYERS，你准备好了吗？ ▲ 点击海报购票 5月1日-5月3日，QQ潮玩展2021降落深圳（福田）会展中心。本次QTX，超重磅国际潮流艺术家...

脚本说明   createtb.sh：创建hive表，触发监控目录脚本 monitor.sh：监控目录，根据文件变化自动触发导入hive表 loadtb_all.sh：第一次将文件导入hive表（第一次建表时触发） loadtb_mid.sh：第N此件文件导入hive表（监控文件添加时...

一、CDH自身组件1、cloudera-scm-server /etc/cloudera-scm-server/     2、cloudera-scm-agent /etc/cloudera-scm-agent/ 二、Hadoop生态组件hadoop组件启动的脚本文件： /etc/alternativ......

用 shell 写的原因是方便任务调度框架 oozie、anzkaban 定时调度

win10安装Hadoop3.0.0：https://blog.csdn.net/qq262593421/article/details/105927625