大家好，又见面了，我是你们的朋友全栈君。
1、使用哈希算法有什么问题？
假设有一个由A、B、C三个节点组成的KV服务，每个节点存放不同的KV数据。通过哈希算法，每个key都可以寻址到对应的服务器，比如，查询key是key-01，计算公式为hash(key-01)%3，经过计算寻址到了编号为1的服务器节点A
但如果服务器数量发生变化，基于新的服务器数量来执行哈希算法的时候，就会出现路由寻址失败的情况，Proxy无法找到之前寻址到的那个服务器节点
假如3个节点不能满足业务需求了，这时增加了一个节点，节点的数量从3变化为4，那么之前的hash(key-01)%3=1就变成了hash(key-01)%4=X，因为取模运算发生了变化，所以这个X大概率不是1（假设是2），这时再查询就会找不到数据了，因为key-01对应的数据存储在节点A上
同样的道理，如果需要下线1个服务器节点也会存在类似的问题
而解决这个问题的办法，在于要迁移数据，基于新的计算公式hash(key-01)%4来重新对数据和节点做映射。数据的迁移成本是非常高的
2、如何使用一致性哈希实现哈希寻址？
1）、一致性哈希算法是什么
哈希算法是对节点的数量进行取模运算，而一致性哈希是对 2 32 2^{32} 232进行取模运算。一致性哈希将整个哈希值空间组成一个虚拟的圆环，也就是哈希环：
哈希环的空间按照顺时针方向组织，圆环的正上方的点代表0，0点右侧的第一个点代表1，以此类推直到 2 32 − 1 2^{32}-1 232−1，也就是说0点左侧的第一个点代表 2 32 − 1 2^{32}-1 232−1
在一致性哈希中，通过执行哈希算法，将节点映射到哈希环上。假设哈希算法函数为c-hash()，比如选择节点的主机名作为参数执行c-hash()，每个节点就能确定其在哈希环上的位置：
当需要对指定key的值进行读写的时候，通过下面2步进行寻址：
- 将key作为参数执行c-hash()计算哈希值，并确定此key在环上的位置
- 从这个位置沿着哈希环顺时针行走，遇到的第一个节点就是key对应的节点
假设key-01、key-02、key-03三个key，经过哈希算法c-hash()计算后，在哈希环上的位置如下图：
根据一致性哈希算法，key-01将寻址到节点A，key-02将寻址到节点B，key-03将寻址到节点C
2）、一致性哈希算法如何避免哈希算法的问题
1）假设，现在节点C故障了：
可以看到，key-01和key-02不会受到影响，只有key-03的寻址被重定位到A。在一致性哈希算法中，如果某个节点宕机不可用了，那么受影响的数据仅仅是会寻址到此节点和前一节点之间的数据。比如当节点C宕机了，受影响的数据是会寻址到节点B和节点C之间的数据（例如key-03），寻址到其他哈希环空间的数据不会受到影响
2）如果需要扩容一个节点：
可以看到，key-01、key-02不受影响，只有key-03的寻址被重定位到新节点D。在一致性哈希算法中，如果增加一个节点，受影响的数据仅仅是会寻址到新节点和前一节点之间的数据
使用了一致哈希算法后，扩容或缩容的时候，都只需要重定位环空间中的一小部分数据。也就是说，一致哈希算法具有较好的容错性和可扩展性
当节点数越多的时候，使用哈希算法时，需要迁移的数据就越多，使用一致哈希时，需要迁移的数据就越少
3）、节点太少分布不均匀
在一致性哈希算法中，如果节点太少，容易因为节点分布不均匀造成数据访问的冷热不均，也就是说大多数访问请求都会集中少量几个节点上：
上图中，虽然有3个节点，但访问请求主要集中在节点A上
通过引入虚拟节点解决分布不均匀的问题。对每一个服务器节点计算多个哈希值，每个计算结果位置上都放置一个虚拟节点，并将虚拟节点映射到实际节点。比如，可以在主机名后面增加编号，分别计算Node-A-01、Node-A-02、Node-B-01、Node-B-02、Node-C-01、Node-C-02的哈希值，于是形成6个虚拟节点
增加了节点后，节点在哈希环上的分布就相对均匀了。如果有访问请求寻址到Node-A-01这个虚拟节点，将被重定位到节点A
4）、思考题
Raft集群具有容错能力，能容忍少数的节点故障，那么在多个Raft集群组成的KV系统中，如何设计一致性哈希算法，实现当某个集群的领导者节点出现故障，并选举出新的领导者后，整个系统还能稳定运行呢？
相比值到节点的一级映射，可以做“值到集群，集群到领导者节点”的两级映射，通过Raft的节点故障容错能力，来避免数据迁移
3、一致性哈希代码实现
代码语言：javascript复制public class ConsistencyHashing {
//虚拟节点个数
private static final int VIRTUAL_NODE_NUM = 5;
//虚拟节点分配,key是hash值,value是虚拟节点服务器名称
private static SortedMap<Integer, String> virtualNodeMap = new TreeMap<>();
//真实节点列表
private static List<String> realNodes = new LinkedList<>();
//模拟初始服务器
private static String[] servers = {
"192.168.1.1", "192.168.1.2", "192.168.1.3"};
static {
for (String server : servers) {
addNode(server);
}
}
/** * 获取被分配的节点名 * * @param node * @return */
public static String getServer(String node) {
int hash = getHash(node);
Integer key;
SortedMap<Integer, String> subMap = virtualNodeMap.tailMap(hash);
if (subMap.isEmpty()) {
key = virtualNodeMap.lastKey();
} else {
key = subMap.firstKey();
}
String virtualNodeName = virtualNodeMap.get(key);
return virtualNodeName.substring(0, virtualNodeName.indexOf("&&"));
}
/** * 添加节点 * * @param node */
public static void addNode(String node) {
if (!realNodes.contains(node)) {
realNodes.add(node);
System.out.println("真实节点[" node "]上线添加");
for (int i = 0; i < VIRTUAL_NODE_NUM; i) {
String virtualNodeName = node "&&virtualNode" i;
int hash = getHash(virtualNodeName);
virtualNodeMap.put(hash, virtualNodeName);
System.out.println("虚拟节点[" virtualNodeName "],hash:" hash "被添加");
}
}
}
/** * 删除节点 * * @param node */
public static void delNode(String node) {
if (realNodes.contains(node)) {
realNodes.remove(node);
System.out.println("真实节点[" node "]下线移除");
for (int i = 0; i < VIRTUAL_NODE_NUM; i) {
String virtualNodeName = node "&&virtualNode" i;
int hash = getHash(virtualNodeName);
virtualNodeMap.remove(hash);
System.out.println("虚拟节点[" virtualNodeName "],hash:" hash "被添加");
}
}
}
/** * FNV1_32_HASH算法 * * @param str * @return */
private static int getHash(String str) {
final int p = 16777619;
int hash = (int) 2166136261L;
for (int i = 0; i < str.length(); i )
hash = (hash ^ str.charAt(i)) * p;
hash = hash << 13;
hash ^= hash >> 7;
hash = hash << 3;
hash ^= hash >> 17;
hash = hash << 5;
//如果算出来的值为负数则取其绝对值
if (hash < 0) {
hash = Math.abs(hash);
}
return hash;
}
public static void main(String[] args) {
//模拟客户端的请求
String[] clientNodes = {
"127.0.0.1:8070", "127.0.0.1:8080", "127.0.0.1:8090"};
for (String node : clientNodes) {
System.out.println("[" node "]的hash值为" getHash(node) ",被路由到结点[" getServer(node) "]");
}
//添加一个节点
addNode("192.168.1.4");
//删除一个节点
delNode("192.168.1.2");
for (String node : clientNodes) {
System.out.println("[" node "]的hash值为" getHash(node) ",被路由到结点[" getServer(node) "]");
}
}
}运行结果：
代码语言：javascript复制真实节点[192.168.1.1]上线添加
虚拟节点[192.168.1.1&&virtualNode0],hash:1400904720被添加
虚拟节点[192.168.1.1&&virtualNode1],hash:470845112被添加
虚拟节点[192.168.1.1&&virtualNode2],hash:2106286201被添加
虚拟节点[192.168.1.1&&virtualNode3],hash:1806968680被添加
虚拟节点[192.168.1.1&&virtualNode4],hash:297496566被添加
真实节点[192.168.1.2]上线添加
虚拟节点[192.168.1.2&&virtualNode0],hash:206719230被添加
虚拟节点[192.168.1.2&&virtualNode1],hash:1684115164被添加
虚拟节点[192.168.1.2&&virtualNode2],hash:1285071933被添加
虚拟节点[192.168.1.2&&virtualNode3],hash:1092596195被添加
虚拟节点[192.168.1.2&&virtualNode4],hash:1587989184被添加
真实节点[192.168.1.3]上线添加
虚拟节点[192.168.1.3&&virtualNode0],hash:1462780580被添加
虚拟节点[192.168.1.3&&virtualNode1],hash:1268819376被添加
虚拟节点[192.168.1.3&&virtualNode2],hash:1915972426被添加
虚拟节点[192.168.1.3&&virtualNode3],hash:6542638被添加
虚拟节点[192.168.1.3&&virtualNode4],hash:10448546被添加
[127.0.0.1:8070]的hash值为955179062,被路由到结点[192.168.1.2]
[127.0.0.1:8080]的hash值为1617490351,被路由到结点[192.168.1.2]
[127.0.0.1:8090]的hash值为974175348,被路由到结点[192.168.1.2]
真实节点[192.168.1.4]上线添加
虚拟节点[192.168.1.4&&virtualNode0],hash:642806105被添加
虚拟节点[192.168.1.4&&virtualNode1],hash:1607218053被添加
虚拟节点[192.168.1.4&&virtualNode2],hash:243578222被添加
虚拟节点[192.168.1.4&&virtualNode3],hash:1684401774被添加
虚拟节点[192.168.1.4&&virtualNode4],hash:603941674被添加
真实节点[192.168.1.2]下线移除
虚拟节点[192.168.1.2&&virtualNode0],hash:206719230被添加
虚拟节点[192.168.1.2&&virtualNode1],hash:1684115164被添加
虚拟节点[192.168.1.2&&virtualNode2],hash:1285071933被添加
虚拟节点[192.168.1.2&&virtualNode3],hash:1092596195被添加
虚拟节点[192.168.1.2&&virtualNode4],hash:1587989184被添加
[127.0.0.1:8070]的hash值为955179062,被路由到结点[192.168.1.3]
[127.0.0.1:8080]的hash值为1617490351,被路由到结点[192.168.1.4]
[127.0.0.1:8090]的hash值为974175348,被路由到结点[192.168.1.3]参考：
10 | 一致哈希算法：如何分群，突破集群的“领导者”限制？
一致性Hash算法以及java实现
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/129527.html原文链接：https://javaforall.cn
