最新 最热

大数据物流项目中CM的安装与运用

文章目录大数据服务器之CM安装架构及目录大数据服务器之CDH框架安装细节大数据服务器之CM安装架构及目录 ​ 针对整个物流项目来说,1台虚拟机安装部署大数据环境:基于CM6.2.1安装CDH6.2.1。 关于CM功能及CM安装,不再过多...

2022-05-08
1

Pentaho Work with Big Data(一)—— Kettle连接Hadoop集群

准备研究一下Pentaho的产品如何同Hadoop协同工作。从简单的开始,今天实验了一下Kettle连接Hadoop集群。 实验目的: 配置Kettle连接Hadoop集群的HDFS。 实验环境: 4台CentOS release 6.4虚拟机,IP地址为 192.168.56...

2022-05-07
2

Hadoop基础教程-第2章 Hadoop快速入门(2.1 Hadoop简介)

(1)2002年10月,Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。

2022-05-06
2

安装 | 企业版CDH服务器集群配置(详细)

此方案为暂定方案,有可能会变更。如果直接使用CDH会更加方便,但是如果进行自行配置,需要做实验。

2022-04-14
1

0875-7.1.7-如何在CentOS7.9中安装CDP Base

1.文档编写目的 本文档Fayson主要描述如何在CentOS7.9安装CDP Base7.1.7。CDP Base7与CDH5/6的安装步骤一致,主要包括以下四部分: 1.安全前置准备,包括安装操作系统、关闭防火墙、同步服务器时钟等; 2.外部数据库如MySQL...

2022-04-13
2

【玩转Lighthouse】centos7.6系统CDH6集群安装

前提:所有cdh相关安装文件均放在master节点(cdh节点)的/root/cdh目录下

2022-04-12
1

今日指数项目之需求调研【三】

大数据平台作为底层的基础数据平台,集群规模、计算存储性能将决定流、批的性能指标上限。所以需要考虑整个大数据平台的吞吐量(网络、磁盘IO)、响应速率、计算能力、高并发性、高可用、维护性方便等,以满足多业务场景下,不...

2022-04-11
2

CDH迁移 | 教你三步实现CDH迁移到星环TDH

Transwarp Data Hub(TDH) 是星环科技自主研发的企业级一站式多模型大数据基础平台,其领先的多模型技术架构提供统一的接口层,统一的计算引擎层,统一的分布式存储管理层,统一的资源调度层,以及异构存储引擎层。8种异构存储引...

2022-04-01
1

hadoop环境遇到的问题 一

Hadoop分布式环境的搭建可见公众号——数据湖,手动搭建:手动搭建Hadoop分布式集群,CDH搭建:安装CDH7.1.1

2022-03-31
2

CDP Base使用RM同步数据

Cloudera Replication Manager(以下简称为 RM,旧版本的CM中简称为BDR)为数据迁移提供了一个集成式的易用管理解决方案,通过界面化的方式可以非常便捷的定义不同集群之间的数据复制操作 ,本文主要介绍如何配置及使用RM进行...

2022-03-29
1