背景：业务库表结构发生变更（新增或删除字段）处理步骤：1.把表移至tmp库：alter table ods.table_name rename to tmp.table_name;2.表移除之后，检查对应Hadoop目录是否已移除：hadoop fs -du -h /user/hive/warehouse....

hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X）， 其中只触发s锁的操作可以并发的执行，只要有一个操作对表或者分区出发了x锁，则该表或者分区不能并发的执行作业。 各个操作锁出发的锁如下：...

数据集介绍见https://blog.csdn.net/m0_38139250/article/details/122181337 数据集下载地址： https://download.csdn.net/download/m0_38139250/72088781

Linux环境 Windows环境 均做了调试 本文代码是基于window开发，因为数据量较大时，相比虚拟机，本地运行更顺畅些，还不是没钱买服务器。。。

1、时间：2021-2022年第一学期第15-16周。上午：8:00-11:30，下午：2:00-5:30。设计周的最后两天为验收时间，每个小组要求对课程设计任务提交设计报告。 2、地点：机房10#A301,机房10#A302,机房10#A303，以及安排的相关机房...

数据量大Volume 第一个特征是数据量大。大数据的起始计量单位可以达到P(1000个T)、E(100万个T)或Z(10亿个T)级别。 类型繁多(Variety) 第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，...

本文主要通过Kettle完成对Hive和HBase中数据的读写工作，为了便于按照文档即可实现Kettle的读写Hive和HBase，文本前面也介绍下Hive的安装过程，如何Hive已经完成安装，可跳过前面即可。 实验环境： cetnos7.4...

全版本下载地址： https://archive.apache.org/dist/zookeeper/ 这里我选择3.5.7这个版本 https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/

本文主要基于Ububtu18.04完成Hadoop3.1.3的安装，并附带遇到的问题以及解决方案，目的在于读者可以根据本文无缝的完成集群部署，有遇到问题，请留言，看到会及时回复，如果有新的内容，本文会持续更新。...

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。