Not Only SQL (一) - Redis Introduce

2022-08-19 16:46:57 浏览数 (1)

一、什么是Redis

Redis是一个key-value数据库，采用ANSI C语言编写，并且完全开源免费。

Redis特点

  • 性能极高，Redis是一个基于内存的缓存工具，数据存储在内存中，读的速度可以达到110000次/s，写的速度可以达到81000次/s
  • 丰富的数据类型，Redis支持String，Hash，List，Set和Ordered Set(有序集合)等数据类型的操作
  • 原子性，Redis对所有的操作都是原子性的，要么执行成功，要么失败完全不执行，单个操作是原子性的，多个操作也支持事务，通过MULTI和EXEC指令包起来
  • 丰富的特性，Redis支持publish/subscribe，通知，key过期等特性
  • 高速读写，Redis使用自己实现的分离器，代码很短，没有使用lock，效率很高

Redis应用场景

可以用作数据库、缓存、秒杀、计数器、排行榜、热点数据（查询频次高，修改删除频次低的数据)、分布式锁、分布式ID和消息中间件大部分功能等与性能密切相关的场景中

  1. 缓存，几乎是所有大中型网站都在使用的必杀技，合理的利用缓存不仅能够提升网站的访问速度，还能很大程度上降低数据库的压力，Redis提供的Key过期功能以及灵活的Key淘汰策略
  2. 排行榜，如商品的销量排行榜，新闻排行榜等，Redis可以实现各种排行榜应用
  3. 计数器，如网站的商品浏览量，视频播放量，为了保证数据实时有效，每次浏览都要 1，高并发时每次 1都去请求数据库会对数据库造成非常大的压力，Redis提供了incr命令实现计数器功能，基于内存操作，性能非常好，非常适用于计数场景
  4. 分布式会话，集群模式下，在应用不多的情况下一般使用容器自带的session复制功能就能满足，在应用较多的情况下会使用Redis搭建内存数据库为中心的session服务，session不再由容器管理，而是由session服务及内存数据库管理
  5. 分布式锁，在很多互联网公司中都使用了分布式技术，分布式技术带来的技术挑战是对同一个资源的并发访问，如全局ID、减库 存、秒杀等场景，并发量不大的场景可以使用数据库的悲观锁、乐观锁来实现，但在并发量高的场合中，利用数据库锁 来控制资源的并发访问是不太理想的，大大影响了数据库的性能。可以利用Redis的setnx功能来编写分布式的锁，如 果设置返回1说明获取锁成功，否则获取锁失败，实际应用中要考虑的细节更多
  6. 社交网络，点赞、踩、关注/被关注、共同好友等是社交网站的基本功能，社交网站的访问量通常来说比较大，而且传统的关系数 据库类型不适合存储这种类型的数据，Redis提供的哈希、集合等数据结构能很方便的的实现这些功能。
  7. 最新列表，Redis列表结构，LPUSH可以在列表头部插入一个内容ID作为关键字，LTRIM可用来限制列表的数量，这样列表永远 为N个ID，无需查询最新的列表，直接根据ID去到对应的内容页即可。
  8. 消息系统，消息队列是大型网站必用中间件，如ActiveMQ、RabbitMQ、Kafka等流行的消息队列中间件，主要用于业务解耦、 流量削峰及异步处理实时性低的业务。Redis提供了发布/订阅及阻塞队列功能，能实现一个简单的消息队列系统。另外，这个不能和专业的消息中间件相比。

Redis优缺点

  • 性能极高
  • 丰富的数据类型
  • 原子性
  • publish/subscribe, 通知, key 过期等等特性
  • 高速读写
  • 持久化

Redis缺点是耗内存，因为是基于内存的；另外Redis难以支持在线扩容。

二、Redis安装

环境检查，首先确保已经安装gcc环境

代码语言：javascript复制
yum -y install gcc automake autoconf libtool make

安装Redis

代码语言：javascript复制
# 下载redis二进制包
wget http://download.redis.io/releases/redis-6.2.2.tar.gz
# 解压到/opt目录下
tar zxvf redis-6.2.2.tar.gz -C /opt
# 编译
cd /opt/redis-6.2.2.tar.gz && make MALLOC=libc
# 指定安装位置
make PREFIX=/usr/local/redis install

Mac设备可以使用Homebrew安装redis

代码语言：javascript复制
brew install redis

Mac查看安装及配置文件位置

  • Homebrew安装的软件会默认在/usr/local/Cellar/路径下
  • redis的配置文件redis.conf存放在/usr/local/etc路径下三、Redis启动 启动Redis服务

进入命令行终端

代码语言：javascript复制
cd /usr/local/redis
# 启动redis服务
./bin/redis-server

Mac设备启动redis

代码语言：javascript复制
# 启动redis服务
brew services start redis
redis-server

redis服务启动成功后显示界面

也可以通过后台进程查看redis是否启动成功

代码语言：javascript复制
ps axu | grep redis

启动Redis客户端

启动redis客户端的语法

代码语言：javascript复制
redis-cli –h IP地址 –p 端口 //默认IP本机 端口6379

本机安装了redis服务可以直接输入redis-cli启动redis客户端

四、Redis配置

redis.conf

Redis默认定义了很多默认配置。但在实际开发中，一般我们都会通过手动配置完成。 回到安装目录下找 到解压文件中的reids.conf

Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf

命令:解压目录下的redis.conf 配置文件复制 到安装文件的目录下

代码语言：javascript复制
cp /opt/redis-6.2.2/redis.conf  /usr/local/redis/

Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程，使用yes既启动时不会在单独占据一个窗口，会在后台进行启动。

当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定

3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为 6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字

代码语言：javascript复制
port 6379

绑定的主机地址(默认只允许127.0.0.1Redis发起访问)

代码语言：javascript复制
bind 127.0.0.1

当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能

代码语言：javascript复制
timeout 300

指定日志记录级别，Redis总共支持四个级别:debug、verbose、notice、warning，默认为verbose loglevel verbose

日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输 出，则日志将会发送给/dev/null

代码语言：javascript复制
logfile stdout

设置数据库的数量，默认数据库为0，可以使用SELECT 命令在连接上指定数据库id

代码语言：javascript复制
databases 16

指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合

代码语言：javascript复制
save <seconds> <changes>

Redis默认配置文件中提供了三个条件: save 900 1 save 300 10 save 60 10000 分别表示900秒(15分钟)内有1个更改，300秒(5分钟)内有10个更改以及60秒内有10000个更改。

指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF(压缩算法)压缩，如果为了节省CPU时 间，可以关闭该选项，但会导致数据库文件变的巨大

代码语言：javascript复制
rdbcompression yes

指定本地数据库文件名，默认值为dump.rdb

代码语言：javascript复制
dbfilename dump.rdb

指定本地数据库存放目录

代码语言：javascript复制
dir ./

设置当本机为slave服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据 同步

代码语言：javascript复制
slaveof <masterip> <masterport>

当master服务设置了密码保护时，slave服务连接master的密码

代码语言：javascript复制
masterauth <master-password>

设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH 命令提供密 码，默认关闭

代码语言：javascript复制
requirepass foobared

远程客户端连接带密码的redis服务

代码语言：javascript复制
redis-cli -h 101.133.232.233 -p 6379 -a root
  1. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最 大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并 向客户端返回max number of clients reached错误信息
代码语言：javascript复制
maxclients 128
  1. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到 期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操 作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
代码语言：javascript复制
maxmemory <bytes>
  1. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会 在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在 一段时间内只存在于内存中。默认为no
代码语言：javascript复制
appendonly no

指定更新日志文件名，默认为appendonly.aof

代码语言：javascript复制
appendfilename appendonly.aof

指定更新日志条件，共有3个可选值: no:表示等操作系统进行数据缓存同步到磁盘(快) always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢，安全) everysec:表示每秒同步一次(折衷，默认值)

代码语言：javascript复制
appendfsync everysec
  1. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的 页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
代码语言：javascript复制
vm-enabled no

虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享

代码语言：javascript复制
vm-swap-file /tmp/redis.swap

将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储 的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。 默认值为0

代码语言：javascript复制
vm-max-memory 0
  1. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共 享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或 者64bytes;如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值
代码语言：javascript复制
vm-page-size 32
  1. 设置swap文件中的page数量，由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的，，在磁盘上 每8个pages将消耗1byte的内存。
代码语言：javascript复制
vm-pages 134217728
  1. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的， 可能会造成比较长时间的延迟。默认值为4
代码语言：javascript复制
vm-max-threads 4

设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启

代码语言：javascript复制
glueoutputbuf yes

指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法

代码语言：javascript复制
hash-max-zipmap-entries 64
hash-max-zipmap-value 512

指定是否激活重置哈希，默认为开启(后面在介绍Redis的哈希算法时具体介绍)

代码语言：javascript复制
activerehashing yes

指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件

代码语言：javascript复制
include /path/to/local.conf

Redis中的内存维护策略

redis作为优秀的中间缓存件，时常会存储大量的数据，即使采取了集群部署来动态扩容，也应该即时的 整理内存，维持系统性能。

第一种方式为 数据设置超时时间

代码语言：javascript复制
expire key time(以秒为单位)--这是最常用的方式
setex(String key, int seconds, String value)--字符串独有的方式
  • 除了字符串自己独有设置过期时间的方法外，其他方法都需要依靠expire方法来设置时间
  • 如果没有设置时间，那缓存就是永不过期
  • 如果设置了过期时间，之后又想让缓存永不过期，使用persist key

第二种方式为 采用LRU算法动态将不用的数据删除 内存管理的一种页面置换算法，对于在内存中但又不用的数据块(内存块)叫做LRU， 操作系统会根据哪些数据属于LRU而将其移出内存而腾出空间来加载另外的数据。

  1. volatile-lru :设定超时时间的数据中,删除最不常使用的数据.
  2. allkeys-lru :查询所有的key中最近最不常使用的数据进行删除，这是应用最广泛的策略. volatile-random:在已经设定了超时的数据中随机删除.
  3. allkeys-random:查询所有的key,之后随机删除.
  4. volatile-ttl:查询全部设定超时时间的数据,之后排序,将马上将要过期的数据进行删除操作. noeviction:如果设置为该属性,则不会进行删除操作,如果内存溢出则报错返回.
  5. volatile-lfu:从所有配置了过期时间的键中驱逐使用频率最少的键
  6. allkeys-lfu:从所有键中驱逐使用频率最少的键

自定义Redis配置

进入对应的安装目录 /usr/local/redis 修改 redis.conf 配置文件 vim redis.conf (进入命令模式 通过/内容 查找相应字符串)

代码语言：javascript复制
daemonize no 修改为 daemonize yes 守护进程启动
bind 127.0.01 注释掉 允许除本机外的机器访问Redis服务
requirepass 设置密码 设定数据库密码 (保证服务安全/有些情况下不设定密码是无法进行远程连接访问的)

Redis采用的是单进程多线程的模式。当redis.conf中选项daemonize设置成yes时，代表开启守护进 程模式。在该模式下，redis会在后台运行，并将进程pid号写入至redis.conf选项pidfile设置的文件 中，此时redis将一直运行，除非手动kill该进程。但当daemonize选项设置成no时，当前界面将进 入redis的命令行界面，exit强制退出或者关闭连接工具(putty,xshell等)都会导致redis进程退出。服务端开发的大部分应用都是采用后台运行的模式

requirepass设置密码。因为redis速度相当快，所以一台比较好的服务器下，一个外部用户在一秒内 可以进行15W次密码尝试，这意味着你需要设定非常强大的密码来防止暴力破解。

可以通过 redis 的配置文件设置密码参数，这样客户端连接到 redis 服务就需要密码验证，这样可 以让你的 redis 服务更安全

五、Redis关闭

第一种关闭方式:

(断电、非正常关闭。容易数据丢失)

代码语言：javascript复制
# 查询redis进程id 
PID ps -ef | grep -i redis
# kill对 查询的id进行强制关闭 
kill -9 PID

第二种关闭方式

(正常关闭、数据保存)

关闭redis服务，通过客户端进行shutdown shutdown命令会终止服务器上的所有客户端连接，并终止服务器。

如果redis设置了密码，需要先在客户端通过密码登录，再进行shutdown即可关闭服务端

云数据库Redis 数据库 sql 缓存

0 人点赞