# 使用.Net Core实现FNV分布式hash一致性算法
说到FNV哈希算法不得不提Memcached,我们先简单介绍一下Memcached。
# Memcached
Memcached
分为客户端与服务端,Memcached
是服务端,服务端本身不提供分布式实现,只是一个单独的k-v缓存;Memcached的分布式是在客户端类库中实现的,也就是说你可以根据自己的需要实现不同的分布式方案,不一定非得使用FNV哈希算法。
Memcached通过FNV算法实现了服务的分布式,并通过引入虚拟节点的办法尽量是服务器分布的更均匀。已经有很多文章在介绍Memcached的分布式实现原理了,所以我就不那么多废话了。
# FNV分布式hash算法实现
如果你还不了解FNV哈希算法,可以先看一下我之前的文章。
# FNV1算法实现
代码实现上我将参考MD5算法的实现来编写FNV1算法:
- 首先,我将创建一个FNV1类,该类需要实现HashAlgorithm,之所以实现HashAlgorithm,是因为该抽象类定义了hash算法通用的接口,这样也可以使我们的实现与.net框架集成的更好,当然如果你不喜欢也可以不实现HashAlgorithm,就当是写了一个独立的帮助类。
- 然后,我们重写Create方法,这里我们将创建一个FNV1类的实例
- 最后,我们去实现这个FNV1类
所有实现代码如下:
//首先我将创建FNV1类
public abstract class FNV1 : HashAlgorithm
{
//重写隐藏HashAlgorithm的Create方法
public static new FNV1 Create()
{
return new Implementation();
}
//下面FNV1的实现我们完全是套用的公式没有什么好讲的
private sealed class Implementation : FNV1
{
private const uint OFFSETBASIS = 2166136261;
private const uint PRIME = 16777619;
private uint _hash;
public override void Initialize()
{
_hash = OFFSETBASIS;
}
protected override void HashCore(byte[] array, int ibStart, int cbSize)
{
int end = ibStart cbSize;
for (var index = ibStart; index < end; index )
{
_hash *= PRIME;
_hash ^= array[index];
}
}
protected override byte[] HashFinal()
{
return BitConverter.GetBytes(_hash);
}
}
}
### 使用方法
var bytes=Encoding.UTF8.GetBytes("Test");
var hashBytes=FNV1.Create().ComputerHash(bytes);
var hashValue=BitConverter.ToUInt32(hashBytes);
FNV其实还有FNV1a算法,与FNV1有些许的区别,这里我就不一一实现了,你可以参考FNV1的实现和FNV哈希算法来实现FNV1a算法。我有一个帮助类MicroFx.Cryptography 分别实现了FNV1和FNV1a的32bit、64bit算法版本。
# 为什么使用FNV算法实现hash一致性
无论是分布式算法还是hash一致性算法都不只有一种或几种实现方案,但Memached为什么会选择FNV算法,而不是md5,不是sha呢?我有自己的认识。
- 我们先看几行代码,分别使用MD5,sha,FNV算法计算一个
Test
字符串的哈希值,然后对比hash结果中数组的长度 var bytes = Encoding.UTF8.GetBytes("Test"); var shabytes = SHA1.Create().ComputeHash(bytes); //shabytes长度为20,及160bit var md5bytes=MD5.Create().ComputeHash(bytes); //md5bytes长度为16,及128bit var fnvbytes = FNV1a.Create().ComputeHash(bytes); //fnvbytes长度为4,及32bit 算法取值范围 sha1[0,2^160-1] md5[0,2^128-1] fnv[0,2^32-1] 从上表我们可以看出,FNV的取值范围最小,如果将区间内的每一个整数看做一个Memcached服务端节点,那么FNV容纳的数量最少,但相对于实际的环境下已经足够多了,这样我们每次在计算一台服务器属于哪个节点的时候速度上会比md5、sha1快很多。 - FNV的32bit计算结果值刚好是一个uint类型,.net core最大支持ulong也就是uint64,再大的话就需要我们自己实现,所以这也是选择FNV的一个原因。(或许我这里不应该拿.net举例,但实际常用的高级语言最大也是64bit)