最新 最热

dubbo学习实践(2)之Dubbo入门Demo

开篇之前,先来了解下dubbo服务治理与技术架构,直接看图

2021-10-13
1

Spark 源码(3) - Master 启动之持久化引擎和选举代理

上回讲到,Master 的 main 方法中,创建了 RpcEnv 和 Master 的 Endpoint,紧接着就开始执行 Endpoint 的生命周期方法 onStart() 方法,今天就从这里开始。

2021-10-12
1

2021年全网最详细大数据常见端口汇总❤️【建议收藏】❤️

2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习。

2021-10-11
1

2021年大数据HBase(十三):HBase读取和存储数据的流程

1、由客户端发起读取数据的请求, 首先先连接 zookeeper , 从zookeeper获取hbase:meta表被哪个regionServer所管理meta表中主要记录了 hbase中各个表有那些region,以及每个region被哪个regionServer所管理hbase中非常...

2021-10-11
1

2021年大数据HBase(十四):HBase的原理及其相关的工作机制

flush溢写流程:   hbase 2.0版本后的流程       随着客户端不断写入数据到达memStore中, memStore内存就会被写满(128M), 当memStore内存达到一定的阈值后, 此时就会触发flush刷新线程, 将数据最终写入HDFS上, ...

2021-10-11
1

2021年大数据Hadoop(十四):HDFS的高可用机制

在Hadoop 中,NameNode 所处的位置是非常重要的,整个HDFS文件系统的元数据信息都由NameNode 来管理,NameNode的可用性直接决定了Hadoop 的可用性,一旦NameNode进程不能工作了,就会影响整个集群的正常使用。...

2021-10-11
1

面霸篇:ZooKeeper 的选举机制和同步机制了解一下?

zookeeper 相信大家都不陌生,很多分布式中间件都利用 zk 来提供分布式一致性协调的特性。

2021-10-11
1

2021年大数据Flink(五):Standalone-HA高可用集群模式

从之前的架构中我们可以很明显的发现 JobManager 有明显的单点问题(SPOF,single point of failure)。JobManager 肩负着任务调度以及资源分配,一旦 JobManager 出现意外,其后果可想而知。...

2021-10-11
1

Kafka 常用工具脚本总结

JMX 的全称为 Java Management Extensions。顾名思义,是管理 Java 的一种扩展,通过 JMX 可以方便我们监控 Kafka 的内存,线程,CPU 的使用情况,以及生产和消费消息的指标。...

2021-10-09
1

Spark 系列教程(2)运行模式介绍

Apache Spark 是用于大规模数据处理的统一分析引擎,它提供了 Java、Scala、Python 和 R 语言的高级 API,以及一个支持通用的执行图计算的优化引擎。

2021-10-09
0