最新 最热

企业是如何解决HDFS单点问题的?

在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题,接下来我们就来聊一聊。...

2021-02-04
0

你都知道那些Kafka副本机制?

在日常开发过程中使用kafka来实限流削峰作用但是往往kafka会存放多份副本来防止数据丢失,那你知道他的机制是什么样的吗?本篇文章就带给大家讲解下。...

2021-02-04
0

原来Canal也可以做HA?

在做实时数仓时,数据量往往比较大的,如果使用Canal来监听MySQL的状态当Canal 是单节服务时,服务器挂掉是就会造成数据丢失,这时Canal恰好可以配置HA这样就能解决单点问题,但是依赖于zookeeper,那我们就来配置一下Canal的HA...

2021-02-04
0

记一次zookeeper脑裂的故障排查

早上7点起床,看到手机钉钉告警显示生产集群zookeeper异常,于是起床备份name node 、zookeeper等重要节点日志,当时很多角色已经挂掉,resourcemanager死掉,zkfc死掉,zookeeper死掉,两个程序都与zk有关所以直接重启zookeeper而...

2021-02-04
0

说说注册中心 zookeeper 和 eureka 中的CP和 AP

在分布式架构中往往伴随CAP的理论。因为分布式的架构,不再使用传统的单机架构,多机为了提供可靠服务所以需要冗余数据因而会存在分区容忍性P。2021Java面试宝典...

2021-02-04
0

【Z投稿】Zabbix性能数据实时对接kafka

新版本Zabbix server 4.0 支持把性能数据实时输出到文本文件,我们只要结合一些文件采集工具就可以轻松把Zabbix产生的数据和其他平台对接起来。下面介绍一下如何通过filebeat把Zabbix实时的性能数据推送kafka消息队列...

2021-02-03
1

理论:第十二章:Dubbo的运行原理,支持什么协议,与SpringCould相比它为什么效率要高一些,Zookeeper底层原理

就是不同的应用部署到不同的服务器上,应用之间想要调用没有办法直接调用,因为不在一个内存空间,需要通过网络通讯来调用,或者传达调用的数据。而且RPC会将远程调用的细节隐藏起来,让调用远程服务像调用本地服务一样简单。...

2021-02-02
1

kafka项目经验之如何进行Kafka压力测试、如何计算Kafka分区数、如何确定Kaftka集群机器数量

用Kafka官方自带的脚本,对Kafka进行压测。Kafka压测时,可以查看到哪个地方出现了瓶颈==(CPU,内存,网络IO)。一般都是网络IO达到瓶颈。 == 使用下面两个kafka自带的脚本...

2021-02-02
1

30分钟带你了解「消息中间件」Kafka、RocketMQ

https://www.open-open.com/lib/view/open1421150566328.html

2021-02-01
1

容器部署ELK7.10,适用于生产

一、elk架构简介首先 logstash 具有日志采集、过滤、筛选等功能,功能完善但同时体量也会比较大,消耗系统资源自然也多。filebeat作为一个轻量级日志采集工具,虽然没有过滤筛选功能,但是仅...

2021-01-29
0