topic是一个主题，是一个逻辑概念，而partition是一个一个先进先出的队列，而消息信息就存在partition队列中，但是由于一个topic对应的partition中消息内容太大，因此将其分为多个segment用于存储。segment文件的最大大小是一...

开发raft时用到的比较主流的两个库是Etcd Raft 和hashicorp Raft，网上也有一些关于这两个库的讨论。之前分析过etcd Raft，发现该库相对hashicorp Raft比较难以理解，其最大的问题是没有实现网络层，实现难度比较大，因此本文...

如果您从事物联网相关的工作，或者有实时数据传输的项目经验，那么您可能对 MQTT (Message Queuing Telemetry Transport) 已经有所了解。MQTT 是一种轻量级的、基于发布-订阅模式的网络协议，它负责设备之间的消息通信，是物...

1.Basic Paxos 是通过二阶段提交的方式来达成共识的。二阶段提交是达成共识的常用方式，如果你需要设计新的共识算法的时候，也可以考虑这个方式。

hadoop报错总结01:https://blog.csdn.net/qq_19968255/article/details/82803768

HBASE是一个高可靠性、高性能、面向列、可伸缩、稀疏的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。

1.Producer ：消息生产者，就是向kafka broker发消息的客户端。

Apache Mesos  - 一个通用的集群管理器，也可以运行Hadoop MapReduce和服务应用程序。

Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合...

1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(hadoop-mapreduce.jar)，上传到服务器