最新 最热

《快学BigData》--Zookeeper 总结(D)(24)

先在编辑器中导入zookeeper-3.4.5lib的JAR包,还有一个是zookeeper根目录下的zookeeper-3.4.5.jar

2023-03-06
1

《快学BigData》--Zookeeper 总结(A)(21)

zookeeper 主要负责管理机器的正常运行,如果一台机器突然死掉,利用zookeeper的机制可以快速的启动另一台备份的机器,zookeeper在这一方面做出了杰出的贡献,底层实现的算法是fast paxos 与baxic paxos算法,当zookeeper失去...

2023-03-06
1

【原创】Zookeeper

Zookeeper是一个开源的分布式数据一致性的解决方案,分布式应用程序可以基于zookeeper实现数据发布订阅,负载均衡,命名服务,分布式协调,集群管理,分布式锁和分布式队列等一系列功能。...

2023-03-03
1

[Python小脚本]Yaml配置文件动态加载

这里需要说明的是,常说的动态加载配置,一般基于观察者设计模式实现的发布/订阅系统,一般有两种模式,分别是推(Push)模式和拉(Pull)模式。

2023-03-02
1

HDFS——Namenode的HA机制

NN(Namenode)的HA机制主要依靠zkfc完成,zkfc在NN所在节点以独立进程的方式运行。其内部主要由主控模块(ZKFailoverController)、健康检测模块(HealthMonitor)、主从选举模块(ActiveStandbyElector)三个模块协同实现。...

2023-02-28
2

Flink HA ZooKeeper

修改flink-conf.yaml HA模式下,jobmanager不需要指定,在master file中配置,由zookeeper选出leader与standby。

2023-02-25
2

Flink 的 HA简介

首先,我们需要知道 Flink 有两种部署的模式,分别是 Standalone 以及 Yarn Cluster 模式。对于 Standalone 来说,Flink 必须依赖于 Zookeeper 来实现 JobManager 的 HA(Zookeeper 已经成为了大部分开源框架 HA 必不可少的...

2023-02-25
1

Kafka命令行操作

--zookeeper 连接zk集群 --create 创建 --replication-factor 副本 --partitions 分区 --topic 主题名

2023-02-25
3

kafka简介

Apache Kafka 是一个分布式流媒体平台 流媒体平台有三个关键功能: 1.发布和订阅记录流,类似于消息队列或企业消息传递系统。 2.以容错的持久方式存储记录流。 3.记录发生时处理流。 Kafka通常用于两大类应用: 构建可在...

2023-02-25
1

基于Direct的方式

这种新的不基于Receiver的直接方式,是在Spark 1.3中引入的,从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后,这种方式会周期性地查询Kafka,来获得每个topic+partition的最新的offset,从而定义每个batch的offs...

2023-02-25
1