最新 最热

flinkx数据同步

git clone https://github.com/DTStack/flinkx.git

2021-11-22
1

hadoop-4:hadoop-flink实时计算集群生产级优化

1./app/3rd/hadoop-3.3.1/etc/hadoop/capacity-scheduler.xml 优化项

2021-11-18
1

大数据——大数据默认端口号列表

SecondaryNameNode HTTP UI 50090 9868

2021-11-17
1

大数据 | HDFS 常用操作命令

HDFS 是 Hadoop Distributed File System 的简写,即 Hadoop 分布式文件系统。它是 Hadoop 项目的核心子项目,它为大数据分布式计算提供了海量数据的存储与管理。

2021-11-17
0

Iceberg在微软云azure上的部署实践

本文主要讲解一下iceberg数据湖在微软云azure上面的部署方案,采用的方案是通过hadoop的api写入azure,和之前写入hdfs没有太大区别,只需要配置一下hadoop的配置文件即可。iceberg这里不需要做任何改动。目前支持Azure Blo...

2021-11-11
1

[1067]CDH6.3.2之Kerberos安全认证

Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端...

2021-11-11
1

几个有用的shell脚本

(1)在shell下,操作hadoop目录,批量命名或删除,最终的命令sed的正则贪婪替换,看下面的脚本: ‍

2021-10-29
0

hadoop-3:原生方式在aws搭建生产级hadoop-flink集群

n先部署一台机器,制作镜像,然后通过这个镜像去创建其他的EC2实例,最后完成配置与启动。

2021-10-28
1

干碎大数据之亲传Hadoop-HA完全分布式平台搭建㊙

掌握了Hadoop完全分布式平台搭建后,就可以搭建一个高可用(HA)的Hadoop集群了。

2021-10-26
1

MPP架构与Hadoop架构是一回事吗?

计算机领域的很多概念都存在一些传播上的“谬误”。MPP这个概念就是其中之一。它的“谬误”之处在于,明明叫做“Massively Parallel Processing(大规模并行处理)”,却让非常多的人拿它与大规模并行处理领域最著名的开源框...

2021-10-22
1