安装OpenResty

1.安装

首先你的Linux虚拟机必须联网

1）安装开发库

首先要安装OpenResty的依赖开发库，执行命令：

1

yum install -y pcre-devel openssl-devel gcc --skip-broken

2）安装OpenResty仓库

你可以在你的 CentOS 系统中添加 openresty 仓库，这样就可以便于未来安装或更新我们的软件包（通过 yum check-update 命令）。运行下面的命令就可以添加我们的仓库：

1

yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo

如果提示说命令不存在，则运行：

1

yum install -y yum-utils 

然后再重复上面的命令

3）安装OpenResty

然后就可以像下面这样安装软件包，比如 openresty：

1

yum install -y openresty

4）安装opm工具

opm是OpenResty的一个管理工具，可以帮助我们安装一个第三方的Lua模块。

如果你想安装命令行工具 opm，那么可以像下面这样安装 openresty-opm 包：

1

yum install -y openresty-opm

5）目录结构

默认情况下，OpenResty安装的目录是：/usr/local/openresty

看到里面的nginx目录了吗，OpenResty就是在Nginx基础上集成了一些Lua模块。

6）配置nginx的环境变量

打开配置文件：

1

vi /etc/profile

在最下面加入两行：

1
2

export NGINX_HOME=/usr/local/openresty/nginx
export PATH=${NGINX_HOME}/sbin:$PATH

NGINX_HOME：后面是OpenResty安装目录下的nginx的目录

然后让配置生效：

1

source /etc/profile

2.启动和运行

OpenResty底层是基于Nginx的，查看OpenResty目录的nginx目录，结构与windows中安装的nginx基本一致：

所以运行方式与nginx基本一致：

1
2
3
4
5
6

# 启动nginx
nginx
# 重新加载配置
nginx -s reload
# 停止
nginx -s stop

nginx的默认配置文件注释太多，影响后续我们的编辑，这里将nginx.conf中的注释部分删除，保留有效部分。

修改/usr/local/openresty/nginx/conf/nginx.conf文件，内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

#user  nobody;
worker_processes  1;
error_log  logs/error.log;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;

    server {
        listen       8081;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

在Linux的控制台输入命令以启动nginx：

1

nginx

然后访问页面：http://192.168.150.101:8081，注意ip地址替换为你自己的虚拟机IP：

3.备注

加载OpenResty的lua模块：

1
2
3
4

#lua 模块
lua_package_path "/usr/local/openresty/lualib/?.lua;;";
#c模块     
lua_package_cpath "/usr/local/openresty/lualib/?.so;;";  

common.lua

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

-- 封装函数，发送http请求，并解析响应
local function read_http(path, params)
    local resp = ngx.location.capture(path,{
        method = ngx.HTTP_GET,
        args = params,
    })
    if not resp then
        -- 记录错误信息，返回404
        ngx.log(ngx.ERR, "http not found, path: ", path , ", args: ", args)
        ngx.exit(404)
    end
    return resp.body
end
-- 将方法导出
local _M = {  
    read_http = read_http
}  
return _M

释放Redis连接API：

1
2
3
4
5
6
7
8
9

-- 关闭redis连接的工具方法，其实是放入连接池
local function close_redis(red)
    local pool_max_idle_time = 10000 -- 连接的空闲时间，单位是毫秒
    local pool_size = 100 --连接池大小
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
    if not ok then
        ngx.log(ngx.ERR, "放入redis连接池失败: ", err)
    end
end

读取Redis数据的API：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

-- 查询redis的方法 ip和port是redis地址，key是查询的key
local function read_redis(ip, port, key)
    -- 获取一个连接
    local ok, err = red:connect(ip, port)
    if not ok then
        ngx.log(ngx.ERR, "连接redis失败 : ", err)
        return nil
    end
    -- 查询redis
    local resp, err = red:get(key)
    -- 查询失败处理
    if not resp then
        ngx.log(ngx.ERR, "查询Redis失败: ", err, ", key = " , key)
    end
    --得到的数据为空处理
    if resp == ngx.null then
        resp = nil
        ngx.log(ngx.ERR, "查询Redis数据为空, key = ", key)
    end
    close_redis(red)
    return resp
end

开启共享词典：

1
2

# 共享字典，也就是本地缓存，名称叫做：item_cache，大小150m
lua_shared_dict item_cache 150m; 

对应的教程视频：

高级篇Day4-02-Lua语法_哔哩哔哩_bilibili

1、初识Lua

Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放， 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。官网：*The Programming Language Lua*

2、变量和循环

3、条件控制、函数

3.1.函数

定义一个函数，如 :

定义好函数后，就可以调用了，如：

3.2.条件控制

3.3.案例

对应的教程视频 ：

高级篇Day4-01-多级缓存意义及JVM进程缓存_哔哩哔哩_bilibili

1.初识Caffeine

Caffeine是一个基于Java8开发的，提供了近乎最佳命中率的高性能的本地缓存库。目前Spring内部的缓存使用的就是Caffeine。GitHub地址：GitHub - ben-manes/caffeine: A high performance caching library for Java

2.实现进程缓存

定义好缓存：

修改查询业务（实现 优先查缓存，不中标再查数据库）

1、JVM进程缓存

(73条消息) （多级缓存）JVM进程缓存_其然乐衣的博客-CSDN博客

2、Lua语法入门

(74条消息) （多级缓存）Lua语法入门_其然乐衣的博客-CSDN博客

3、多级缓存

(75条消息) （多级缓存）多级缓存_其然乐衣的博客-CSDN博客

4、缓存同步策略

(75条消息) （多级缓存）缓存同步_其然乐衣的博客-CSDN博客

总结：

对应的教程视频:

高级篇Day3-04-Redis分片集群_哔哩哔哩_bilibili

一.搭建分片集群

1.集群结构

分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含3个master节点，每个master包含一个slave节点，结构如下：

这里我们会在同一台虚拟机中开启6个redis实例，模拟分片集群，信息如下：

2.准备实例和配置

删除之前的7001、7002、7003这几个目录，重新创建出7001、7002、7003、8001、8002、8003目录：

1
2
3
4
5
6

# 进入/tmp目录
cd /tmp
# 删除旧的，避免配置干扰
rm -rf 7001 7002 7003
# 创建目录
mkdir 7001 7002 7003 8001 8002 8003

在/tmp下准备一个新的redis.conf文件，内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.150.101
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/6379/run.log

将这个文件拷贝到每个目录下：

1
2
3
4

# 进入/tmp目录
cd /tmp
# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

修改每个目录下的redis.conf，将其中的6379修改为与所在目录一致：

1
2
3
4

# 进入/tmp目录
cd /tmp
# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

3.启动

因为已经配置了后台启动模式，所以可以直接启动服务：

1
2
3
4

# 进入/tmp目录
cd /tmp
# 一键启动所有服务
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

通过ps查看状态：

1

ps -ef | grep redis

发现服务都已经正常启动：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZSycAyBD-1662083428139)(assets/image-20210702174255799.png)]

如果要关闭所有进程，可以执行命令：

1

ps -ef | grep redis | awk '{print $2}' | xargs kill

或者（推荐这种方式）：

1

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown

4.创建集群

虽然服务启动了，但是目前每个服务之间都是独立的，没有任何关联。

我们需要执行命令来创建集群，在Redis5.0之前创建集群比较麻烦，5.0之后集群管理命令都集成到了redis-cli中。

1）Redis5.0之前

Redis5.0之前集群命令都是用redis安装包下的src/redis-trib.rb来实现的。因为redis-trib.rb是有ruby语言编写的所以需要安装ruby环境。

1
2
3

# 安装依赖
yum -y install zlib ruby rubygems
gem install redis

然后通过命令来管理集群：

1
2
3
4

# 进入redis的src目录
cd /tmp/redis-6.2.4/src
# 创建集群
./redis-trib.rb create --replicas 1 192.168.150.101:7001 192.168.150.101:7002 192.168.150.101:7003 192.168.150.101:8001 192.168.150.101:8002 192.168.150.101:8003

2）Redis5.0以后

我们使用的是Redis6.2.4版本，集群管理以及集成到了redis-cli中，格式如下：

1

redis-cli --cluster create --cluster-replicas 1 192.168.150.101:7001 192.168.150.101:7002 192.168.150.101:7003 192.168.150.101:8001 192.168.150.101:8002 192.168.150.101:8003

命令说明：

• redis-cli --cluster或者./redis-trib.rb：代表集群操作命令
• create：代表是创建集群
• --replicas 1或者--cluster-replicas 1 ：指定集群中每个master的副本个数为1，此时节点总数 ÷ (replicas + 1) 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master

运行后的样子：

这里输入yes，则集群开始创建：

通过命令可以查看集群状态：

1

redis-cli -p 7001 cluster nodes

5.测试

尝试连接7001节点，存储一个数据：

1
2
3
4
5
6
7
8

# 连接
redis-cli -p 7001
# 存储数据
set num 123
# 读取数据
get num
# 再次存储
set a 1

结果悲剧了

集群操作时，需要给redis-cli加上**-c**参数才可以：

1

redis-cli -c -p 7001

这次可以了

二.散列插槽

总结:

Redis如何判断某个key应该在哪个实例？

•将16384个插槽分配到不同的实例

•根据 key 的有效部分计算哈希值，对16384取余

•余数作为插槽，寻找插槽所在实例即可

如何将同一类数据固定的保存在同一个Redis实例？

•这一类数据使用相同的有效部分，例如key都以{typeId}为前缀. 如:

三.集群伸缩

四.故障转移

五.RedisTemplate访问分片集群

上面的第1和第3步和哨兵模式的1和3是一样的,主要差别是第2步

对应的教程视频：

高级篇Day3-03-Redis哨兵_哔哩哔哩_bilibili

目录：

• 哨兵的作用和原理
• 搭建哨兵集群
• RedisTemplate的哨兵模式

一、哨兵的作用和原理

二、搭建哨兵集群

1.集群结构

这里我们搭建一个三节点形成的Sentinel集群，来监管之前的Redis主从集群。如图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MOzScJfs-1662037549415)(assets/image-20210701215227018.png)]

三个sentinel实例信息如下：

2.准备实例和配置

要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。

我们创建三个文件夹，名字分别叫s1、s2、s3：

1
2
3
4

# 进入/tmp目录
cd /tmp
# 创建目录
mkdir s1 s2 s3

如图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-smeM4g2V-1662037549418)(assets/image-20210701215534714.png)]

然后我们在s1目录创建一个sentinel.conf文件，添加下面的内容：

1
2
3
4
5
6

port 27001
sentinel announce-ip 192.168.150.101
sentinel monitor mymaster 192.168.150.101 7001 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000
dir "/tmp/s1"

解读：

• port 27001：是当前sentinel实例的端口

• sentinel monitor mymaster 192.168.150.101 7001 2
  1
  2
  3
  4
  5
  6
  7
  8
  9
  
    ：指定主节点信息 
  
    - `mymaster`：主节点名称，自定义，任意写
    - `192.168.150.101 7001`：主节点的ip和端口
    - `2`：选举master时的quorum值
  
  然后将s1/sentinel.conf文件拷贝到s2、s3两个目录中（在/tmp目录执行下列命令）：
  
  
  

方式一：逐个拷贝

cp s1/sentinel.conf s2
cp s1/sentinel.conf s3

方式二：管道组合命令，一键拷贝

echo s2 s3 | xargs -t -n 1 cp s1/sentinel.conf

1
2
3
4
5

![点击并拖拽以移动](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)

修改s2、s3两个文件夹内的配置文件，将端口分别修改为27002、27003：

sed -i -e ‘s/27001/27002/g’ -e ‘s/s1/s2/g’ s2/sentinel.conf
sed -i -e ‘s/27001/27003/g’ -e ‘s/s1/s3/g’ s3/sentinel.conf

1
2
3
4
5
6
7

![点击并拖拽以移动](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)

## 3.启动

为了方便查看日志，我们打开3个ssh窗口，分别启动3个redis实例，启动命令：

第1个

redis-sentinel s1/sentinel.conf

第2个

redis-sentinel s2/sentinel.conf

第3个

redis-sentinel s3/sentinel.conf

![点击并拖拽以移动](data:image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==)

启动后：



## 4.测试

尝试让master节点7001宕机，查看sentinel日志：



查看7003的日志：



查看7002的日志：



# 三、RedisTemplate的哨兵模式

在Sentinel集群监管下的Redis主从集群，其节点会因为自动故障转移而发生变化，Redis的客户端必须感知这种变化，及时更新连接信息。Spring的RedisTemplate底层利用lettuce实现了节点的感知和自动切换。

首先，我们引入课前资料提供的Demo工程：

![img](https://img-blog.csdnimg.cn/9560625acea141d798bfcb128ea95031.png)

 ![img](https://img-blog.csdnimg.cn/44d017488b6b4ef094613c07de195732.png)

对应的视频教程

高级篇Day3-02-Redis主从_哔哩哔哩_bilibili

一、搭建Redis主从集群

1.集群结构

我们搭建的主从集群结构如图：

共包含三个节点，一个主节点，两个从节点。

这里我们会在同一台虚拟机中开启3个redis实例，模拟主从集群，信息如下：

2.准备实例和配置

要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。

1）创建目录

我们创建三个文件夹，名字分别叫7001、7002、7003：

1
2
3
4

# 进入/tmp目录
cd /tmp
# 创建目录
mkdir 7001 7002 7003

如图：

2）恢复原始配置

修改redis-6.2.4/redis.conf文件，将其中的持久化模式改为默认的RDB模式，AOF保持关闭状态。

1
2
3
4
5
6
7
8

# 开启RDB
# save ""
save 3600 1
save 300 100
save 60 10000

# 关闭AOF
appendonly no

3）拷贝配置文件到每个实例目录

然后将redis-6.2.4/redis.conf文件拷贝到三个目录中（在/tmp目录执行下列命令）：

1
2
3
4
5
6

# 方式一：逐个拷贝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003
# 方式二：管道组合命令，一键拷贝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

4）修改每个实例的端口、工作目录

修改每个文件夹内的配置文件，将端口分别修改为7001、7002、7003，将rdb文件保存位置都修改为自己所在目录（在/tmp目录执行下列命令）：

1
2
3

sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf

5）修改每个实例的声明IP

虚拟机本身有多个IP，为了避免将来混乱，我们需要在redis.conf文件中指定每一个实例的绑定ip信息，格式如下：

1
2

# redis实例的声明 IP
replica-announce-ip 192.168.150.101

每个目录都要改，我们一键完成修改（在/tmp目录执行下列命令）：

1
2
3
4
5
6
7

# 逐一执行
sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf

# 或者一键修改
printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf

3.启动

为了方便查看日志，我们打开3个ssh窗口，分别启动3个redis实例，启动命令：

1
2
3
4
5
6

# 第1个
redis-server 7001/redis.conf
# 第2个
redis-server 7002/redis.conf
# 第3个
redis-server 7003/redis.conf

启动后：

如果要一键停止，可以运行下面命令：

1

printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown

4.开启主从关系

现在三个实例还没有任何关系，要配置主从可以使用replicaof 或者slaveof（5.0以前）命令。

有临时和永久两种模式：

• 修改配置文件（永久生效）

  • 在redis.conf中添加一行配置：slaveof <masterip> <masterport>

• 使用redis-cli客户端连接到redis服务，执行slaveof命令（重启后失效）：

  1	slaveof <masterip> <masterport>

注意：在5.0以后新增命令replicaof，与salveof效果一致。

这里我们为了演示方便，使用方式二。

通过redis-cli命令连接7002，执行下面命令：

1
2
3
4

# 连接 7002
redis-cli -p 7002
# 执行slaveof
slaveof 192.168.150.101 7001

通过redis-cli命令连接7003，执行下面命令：

1
2
3
4

# 连接 7003
redis-cli -p 7003
# 执行slaveof
slaveof 192.168.150.101 7001

然后连接 7001节点，查看集群状态：

1
2
3
4

# 连接 7001
redis-cli -p 7001
# 查看状态
info replication

结果：

5.测试

执行下列操作以测试：

• 利用redis-cli连接7001，执行set num 123
• 利用redis-cli连接7002，执行get num，再执行set num 666
• 利用redis-cli连接7003，执行get num，再执行set num 888

可以发现，只有在7001这个master节点上可以执行写操作，7002和7003这两个slave节点只能执行读操作。

二、数据同步原理

对应的视频教程

高级篇Day3-01-Redis持久化_哔哩哔哩_bilibili

一、RDB持久化

首先需要在Linux系统中安装一个Redis，如果尚未安装的同学，可以参考下面链接教程安装先：

(73条消息) 单机安装Redis_其然乐衣的博客-CSDN博客

修改配置文件

创建一个数据

因为设置了只要5秒内有一次修改就会触发一次备份数据，所以就得到了备份数据

RDB是有可能会发生数据丢失的，因为两次备份的时间间隔会比较长。因此我们需要AOF持久化，它可以大大地提高数据的安全性，来弥补RDB缺点

二、AOF持久化

1、修改配置文件redis.conf

1.1.先禁用RDB，因为要演示AOF

1.2.开启AOF功能（默认的是no）

1.3.AOF文件的名称，文件后缀是.aof，文件名可任意，这里我们不做修改没用默认的就行

1.4.

到这配置文件的修改就完成了

2.删掉rdb文件

1

rm -rf *.rdb

3.重启redis

1

redis-server redis.conf

4.检查数据，发现证明之前的数据都清空了

5.写新数据

6.刷新一下，aof文件就生成了，也就是备份了数据

7.查看aof文件

如果继续添加命令写数据

8.停止redis和重启redis

停止重启后，依然有以前的数据

【 这就证明了，我们确实已经实现了数据的持久化和 故障的维护】

9.

但是存在的缺陷是，aof会记录对同一个key的多次写操作，但只有最有一次写操作才意义，然而这增大了文件的大小，比RDB的文件大很多

通过执行 bgrewriteaof 命令，可以让AOF文件执行重写功能，用最少的命令达到相同的效果 9.1 执行bgrewriteaof 命令

9.2. 通过cat命令查询aof文件

9.3. 通过vi查看aof文件

会发现命令被压缩了

虽然比之前的难看些了， 但还可以看懂一些，比如num name这些

10.如果我们不自己手动执行 bgrewriteaof **命令，**Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置：

# AOF文件比上次文件 增长超过多少百分比则触发重写 auto-aof-rewrite-percentage 100

# AOF文件体积最小多大以上才触发重写 auto-aof-rewrite-min-size 64mb

三、RDB和AOF两种持久化的对比

注意：

我们在实际使用中，往往会两者结合使用（数据回复优先级AOF优先于RDB）

RDB主要充一个数据备份的作用，我们可以将备份的RDB文件拷贝到别的机房，异地的容灾。当机房这个机房毁了，AOF也就毁了，但被拷贝到别的机房的RDB文件还在，那么我们的数据还是可以恢复的。所以RDB就是主要起到这么一个备份数据的作用

单机安装Redis

首先需要安装Redis所需要的依赖：

1

yum install -y gcc tcl

然后将课前资料提供的Redis安装包上传到虚拟机的任意目录：

例如，我放到了/tmp目录：

解压缩：

1

tar -xvf redis-6.2.4.tar.gz

解压后：

进入redis目录：

1

cd redis-6.2.4

运行编译命令：

1

make && make install

如果没有出错，应该就安装成功了。

然后修改redis.conf文件中的一些配置：

1
2
3
4

# 绑定地址，默认是127.0.0.1，会导致只能在本地访问。修改为0.0.0.0则可以在任意IP访问
bind 0.0.0.0
# 数据库数量，设置为1
databases 1

启动Redis：

1

redis-server redis.conf

停止redis服务：

1

redis-cli shutdown