最新 最热

如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境(CSDN开发者云平台使用初体验)

前不久CSDN联合国内顶级云厂商,共同为开发者提供稳定便宜的云服务,送了学长两张优惠券,一张云容器,一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验,使用本地的还需要重头安装VMware,有诸多不便,于是想...

2022-06-13
1

HDFS的操作方式之一------Shell

截至到目前,我们已经很熟悉Linux系统的日常操作了,Linux中最常见的操作就是通过Shell。当然有些版本,自带桌面UI,可以直接鼠标点击了。但是作为一名常年折腾代码的技术人,你好意思说自己不会用命令吗?所以,掌握shell是势在...

2022-06-08
0

HBase原理 | HBase读写流程和MemStore Flush(图形化通俗易懂)

Zookeeper:HBase 通过 Zookeeper 来做 Master 的高可用、 RegionServer 的监控、存储Hbase元数据(如哪个表存储在哪个RegionServer上)以及集群配置的维护等工作。

2022-06-08
1

Modern data stack的前世今生

古老的大数据技术孕育了云计算,从云计算中衍生出了SaaS、PaaS等云服务,而云服务又让大数据技术在新时代获得了新生。

2022-06-08
1

Ambari安装Hadoop3遇到的一些新坑

以前使用HDP安装Hadoop集群安装了很多遍,本以为整个过程早已经烂熟于心,没想到这次安装过程还是遇到了新的坑,这里记录一下,分享给读者,以便不时之需。...

2022-06-07
0

记一次Hadoop集群数据上传缓慢案例分析

手上管理的其中一个Hadoop集群,承接着大量的数据流量,一直以来运行平稳,最近突然发现集群有时会出现MR作业运行缓慢,put文件至HDFS偶发速度慢的问题,像大数据集群这种问题,有点疑难杂症的味道,本次也是经历了10多个小时的定...

2022-06-07
0

使用Ambari搭建HDP集群完全参考手册

使用 ambari 来搭建 hdp 集群,前前后后搭了不下10遍,之前一直没有完整的总结整个过程,最近有空正好记录一下。

2022-06-07
1

分享一下Spark History Server搭建以及使用s3路径的eventlog的坑

完成了spark on k8s的部署和测试,现在需要一个能够查看spark任务执行情况的ui,原先采用yarn资源管理器ui链接到spark-web-ui,由于yarn集群下的机器ip固定,可以通过配置本地代理的方式访问它,现在去掉了yarn,自己需要搭建一...

2022-06-07
1

30岁,5月无情被辞:想给搞数据的提个醒!!

在知乎看见了一个数据分析师的真实经历,忍不住唏嘘。图片截自知乎原文太长,简单概括一下:楼主是香港城市大学的硕士,在银行工作四年后想跳槽,但因为能力不符合公司的招聘要求,总是一面就挂了。有人说行业人才饱和,竞争激烈;也...

2022-06-07
1

1.2 亿、包头市智慧城市(一期)建设项目

2022年6月2日,包头市工业和信息化局发布《包头市智慧城市(一期)建设项目》招标公告,预算 119,850,000.00 元。一、政务目标需求:打好一网统管、一网通办建设基础、智慧城市标准规范体系建设、城市数据汇聚共享体系建设、城...

2022-06-06
2