Redis cluster(来自小姐姐的面试题72)
- Redis Cluster是一种服务端的分片sharding技术,redis3.0开始使用,采用slot槽的概念,一共分成16384个槽,将请求发送到任意节点,接收到请求到节点会将查询请求发送到正确到节点上执行。
- 方案说明:
- 对key进行哈希算法,再对16384取模,确定key落在哪个槽上,再判断槽在哪个节点上。提供哈希的方式将数据分片,每个节点均分存储一定哈希槽区间到数据,默认分配了16384个槽位
- 每份数据分片会存储在多个互为主从的多节点上(多节点形成一个环,A为B的主节点,B为C的主节点,B2000个槽备份A的数据,2000个槽存储自己的数据,交给C备份)
- 数据写入先写入主节点,再同步到从节点,默认异步复制,支持配置为阻塞同步
- 同一分片多个节点间到数据不保持强一致性,默认不会等待从节点同步完毕后返回客户端
- 读取时,当客户端操作的key没有分配在该节点上时,redis会返回转向命令,指向正确节点
- 扩容时需要把旧节点的数据迁移一部分到新节点(原有的ABC节点,各取1000个槽的数据给D节点;删除D时需要把数据分给ABC节点后删除)
- 在redis cluster架构下,每个redis要放开两个端口号,一个为另一个端口号 1w,如6379和16379。16379端口号是用来进行节点间通信的,也就是cluster bus集群总线的通信,用来进行故障检测、配置更新、故障转移授权。cluster bus用了另外一种二进制协议gossip协议,用于节点间进行高效的数据交换,占用更少的网络带宽和处理时间。
- 优点:
- 无中心结构,多主多从,支持动态扩容,对业务透明
- 具备sentinel哨兵对监控和自动failover故障转移能力
- 客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可感知整个集群
- 高性能,客户端直连redis服务,免去了proxy代理的损耗
- 缺点:
- 运维复杂,数据迁移需人工干预
- 只能使用redis的0号数据库(redis默认有16个数据库)
- 不支持批量操作pipeline管道操作
- 分布式逻辑和存储模块耦合
- 方案说明:
Redis sharing(来自小姐姐的面试题72)
- Redis Sharding是Redis Cluster出来之前,业界普遍使用的多redis实例集群方法。是采用哈希算法将redis数据的key进行散列,通过hash函数特定的key会映射到特定的redis节点上。java redis的jedis客户端驱动,支持redis sharding功能,Shardedjedis以及结合缓存池的ShardedjedisPool
- 优点:
- 非常简单,服务端的redis实例彼此独立,相互无关联,每个redis实例像单服务器一样运行,非常容易线性扩展,系统的灵活性很强
- 缺点:
- 由于sharding处理放到客户端,规模进一步扩大时给运维带来挑战
- 客户端sharding不支持动态增删节点,服务端redis实例群拓扑结构有变化时,每个客户端都需要更新调整,连接不能共享,当应用规模增大时,资源浪费制约优化
- 优点:
作者:彼岸舞
时间:2021 5 5
内容关于:Redis
本文属于作者原创,未经允许,禁止转发