kafka是一个高吞吐量的流式分布式消息系统,用来处理活动流数据,比如网页的访问量pm,日志等,既能够实时处理大数据信息也能离线处理。
目前我们使用版本为kafka_2.9.2-0.8.1(scala-2.9.2为kafka官方推荐版本,此外还有2.8.2和2.10.2可以选择)
C 代表 Consistency,一致性,是指所有节点在同一时刻的数据 是相同的,即更新操作执行结束并响应用户完成后,所有节点存储的数据会保持相同。
storm需用到zookeeper,开始安装前先安装好zookeeper,参照zookeeper集群部署手册
前一篇文章介绍了Hadoop2.0(hadoop2.0架构,具体版本是hadoop2.2.0)的安装和最基本的配置(见 http://www.linuxidc.com/Linux/2014-05/101173.htm ),并没有配置HA(High Avalability,高可用性),接下来的文章中会介绍hadoop2.......
任何分布式系统都无法同时满足一致性(consistency),可用性(availibity),分区容错性(partition tolerance)这三项,最多只可同时满足其中的两项.
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/131623.html原文链接:https://javaforall.cn
Storm特点:(Storm类似手扶电梯,不出故障就会一直运行,Hadoop类似升降电梯,到达一定程度会停止)。
本文翻译自: https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster。
最近因为项目需要所以需要使用kafka 所以自己最近也实践了下。下面为大家简单介绍下在windows下的安装使用