最新 最热

使用Distcp和HMS-Mirror同步Hive到CDP

对于Hive迁移到CDP平台,如果源平台为CDH且具有Cloudera的使用许可证,则可以通过CDP提供的Replication Manager轻松将Hive迁移到CDP平台中;如果源平台不是CDH或者没有Cloudera的许可证,则可以使用本文提供的方法进行迁移。...

2022-03-29
2

Hadoop - 企业级大数据管理平台CDH(介绍和准备工作)

哈喽大家好呀,仅经过了一段时间大数据相关的博文又和大家见面了,笔者之前有写过一套Hadoop大数据相关的博客,为什么今天又要开坑呢?当然是有原因,随着不断的学习了解,慢慢意识到之前做法存在很多缺陷,最...

2022-03-24
2

【云端选型】3.1.云产品&选择指南

云服务器是一个云平台中最为核心的产品,其最核心的用途是可直接部署业务,是支撑业务运行的基石。在云服务器上可以部署数据库、负载均衡、 存储、缓存等服务供给业务使用,这也是云服务器最不可或缺的用途之一。同时云的...

2022-03-23
2

0871-6.3.2-如何基于CDH6环境编译Hudi-0.9.0并使用

1.文档编写目的 Apache Hudi是一个Data Lakes的开源方案,是Hadoop Updates and Incrementals的简写,它是由Uber开发并开源的Data Lakes解决方案。Hudi 是一个丰富的平台,用于构建具有增量数据管道的流式数据湖,具有如下基...

2022-03-21
1

客快物流大数据项目(三十五):CDH使用注意

默认情况下,CDH的HDFS服务是开启权限检查的,为方便使用HDFS,需先将HDFS的dfs.permissions选项取消选中,保存后重启HDFS服务。最终的配置如下:

2022-02-24
2

客快物流大数据项目(三十四):CDH开始安装

由于CDH需要使用CM的WebUI可视化界面配置集群,又是单节点安装,CM与CDH的安装包都在同一个节点中(均在Apache服务/var/www/html/下),直接在浏览器中输入http://192.168.88.20:7180/cmf/login来访问即可,CM的默认用户名/密...

2022-02-24
1

客快物流大数据项目(三十):软件下载后存放位置

将所有的软件包上传到位于/export/softwares目录下,主要包括cm、cdh、jdk、mysql驱动包等软件。

2022-02-24
2

客快物流大数据项目(二十九):下载CDH的安装包

下载地址:https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/

2022-02-24
2

DTLS协议介绍,Udp协议基于TLS

UDP协议是不面向连接的不可靠协议,且没有对传输的报文段进行加密,不能保证通信双方的身份认证、消息传输过程中的按序接收、不丢失和加密传送。...

2022-01-13
3