murmurhash算法_shell dash使用数组

2022-11-02 16:21:58 浏览数 (1)

MurmurHash 是一种非 加密型 哈希函数,适用于一般的哈希检索操作。 由Austin Appleby在2008年发明, 并出现了多个变种,都已经发布到了 公有领域(public domain)。与其它流行的哈希函数相比,对于规律性较强的key,MurmurHash的随机分布特征表现更良好。—摘自wiki

Redis在实现字典时用到了两种不同的哈希算法,MurmurHash便是其中一种(另一种是djb),在Redis中应用十分广泛,包括数据库、集群、哈希键、阻塞操作等功能都用到了这个算法。发明算法的作者被邀到google工作,该算法最新版本是MurmurHash3,基于MurmurHash2改进了一些小瑕疵,使得速度更快,实现了32位(低延时)、128位HashKey,尤其对大块的数据,具有较高的平衡性与低碰撞率。

MurmurHash2的实现,可以放到自己的工程中使用。

代码语言:javascript复制
unsigned int murMurHash(const void *key, int len)
    {
    	const unsigned int m = 0x5bd1e995;
    	const int r = 24;
        const int seed = 97;
    	unsigned int h = seed ^ len;
    	// Mix 4 bytes at a time into the hash
    	const unsigned char *data = (const unsigned char *)key;
    	while(len >= 4)
    	{
    		unsigned int k = *(unsigned int *)data;
    		k *= m; 
    		k ^= k >> r; 
    		k *= m; 
    		h *= m; 
    		h ^= k;
    		data  = 4;
    		len -= 4;
    	}
    	// Handle the last few bytes of the input array
    	switch(len)
    	{
    	    case 3: h ^= data[2] << 16;
    	    case 2: h ^= data[1] << 8;
    	    case 1: h ^= data[0];
            h *= m;
    	};
    	// Do a few final mixes of the hash to ensure the last few
    	// bytes are well-incorporated.
    	h ^= h >> 13;
    	h *= m;
    	h ^= h >> 15;
    	return h;
    }

MurmurHash3的实现与测试可以见这里google code。

以下是来自google的测试,对8byte对齐的256k数据块进行hashing,硬件平台Intel Core 2 Quad Q9650,3.0ghz,单核运行。

FNV_x86_32 – 554 mb/sec FNV_x64_32 – 715 mb/sec SuperFastHash_x86_32 – 1224 mb/sec (1) SuperFastHash_x64_32 – 1311 mb/sec Lookup3_x86_32 – 1234 mb/sec Lookup3_x64_32 – 1265 mb/sec

MurmurHash2_x86_32 – 2577 mb/sec MurmurHash2_x86_64 – 3352 mb/sec (2) MurmurHash2_x64_64 – 2857 mb/sec

MurmurHash3_x86_32 – 3105 mb/sec MurmurHash3_x86_128 – 2684 mb/sec MurmurHash3_x64_128 – 5058 mb/sec (3)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/180357.html原文链接:https://javaforall.cn

0 人点赞