最新 最热

CDH迁移 | 教你三步实现CDH迁移到星环TDH

Transwarp Data Hub(TDH) 是星环科技自主研发的企业级一站式多模型大数据基础平台,其领先的多模型技术架构提供统一的接口层,统一的计算引擎层,统一的分布式存储管理层,统一的资源调度层,以及异构存储引擎层。8种异构存储引...

2022-04-01
1

分布式与云计算 单元测验

5单选(2分)每种大数据产品都有特定的应用场景,以下哪个产品是用于批处理的:(A)

2022-04-01
1

hadoop环境遇到的问题 一

Hadoop分布式环境的搭建可见公众号——数据湖,手动搭建:手动搭建Hadoop分布式集群,CDH搭建:安装CDH7.1.1

2022-03-31
1

【Flink】第二十八篇:Flink SQL 与 Apache Calcite

【Flink】第四篇:【迷思】对update语义拆解D-、I+后造成update原子性丢失

2022-03-31
1

【Hive】Hive简介

Hive有自己的类SQL,即HQL,它将SQL解析为M/R Job,然后在hadoop上执行。允许开发自定义mapper和reducer来处理内建的mapper和reducer无法完成的复杂分析工作再查询(UDF)。而启动MapReduce是一个高延迟的一件事,每次提交任务和...

2022-03-31
1

Apache Drill 专为Hadoop、NoSQL和云存储设计的Schema-free类型的SQL引擎

Apache Drill是一款开源的数据探索工具,一个分布式SQL查询和分析引擎。它包含了很多专有的设计,来进行高性能分析,支持半结构化数据源(JSON、XML和日志等)和基于应用不断创新的数据格式。在此基础上,Drill不仅支持行业标准...

2022-03-30
1

CDP Base使用RM同步数据

Cloudera Replication Manager(以下简称为 RM,旧版本的CM中简称为BDR)为数据迁移提供了一个集成式的易用管理解决方案,通过界面化的方式可以非常便捷的定义不同集群之间的数据复制操作 ,本文主要介绍如何配置及使用RM进行...

2022-03-29
1

CDP的安全参考架构概要

本篇博客将总结 CDP 私有云基础(PvC Base)集群的安全架构。该架构反映了安全工程最佳实践的四大支柱:边界、数据、访问和可见性。CDP PvC Base的发布对安全架构进行了许多重大改进,包括:...

2022-03-29
1

使用Distcp和HMS-Mirror同步Hive到CDP

对于Hive迁移到CDP平台,如果源平台为CDH且具有Cloudera的使用许可证,则可以通过CDP提供的Replication Manager轻松将Hive迁移到CDP平台中;如果源平台不是CDH或者没有Cloudera的许可证,则可以使用本文提供的方法进行迁移。...

2022-03-29
1

使用 Spark | 手把手带你十步轻松拿下 Spark SQL 使用操作

在《20张图详解 Spark SQL 运行原理及数据抽象》的第 5 节“SparkSession”中,我们知道了 Spark SQL 就是基于 SparkSession 作为入口实现的。

2022-03-28
1