每个后端都应该了解的OpenResty入门以及网关安全实战

2023-10-25 10:01:52 浏览数 (2)

OpenResity logo

简介

在官网上对 OpenResty 是这样介绍的(http://openresty.org):

“OpenResty 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。” “OpenResty 通过汇聚各种设计精良的 Nginx 模块(主要由 OpenResty 团队自主开发),从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样,Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块,快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。” “OpenResty 的目标是让你的 Web 服务直接跑在 Nginx 服务内部,充分利用 Nginx 的非阻塞 I/O 模型,不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。”

从以上官网描述里我们可以知道,OpenResty 官网对其定位是以 Nginx 为核心集成 Lua,打造一个兼具开发效率和高性能的服务端开发平台。

OpenResty 的核心是基于 Nginx 的一个 C 模块(lua-Nginx-module),该模块将 LuaJIT 嵌入到 Nginx 服务器中,并对外提供一套完整的 Lua API,透明地支持非阻塞 I/O,提供了轻量级线程、定时器等高级抽象。

我们可以用 Lua 语言来进行字符串和数值运算、查询数据库、发送 HTTP 请求、执行定时任务、调用外部命令等,还可以用 FFI 的方式调用外部 C 函数。这基本上可以满足服务端开发需要的所有功能。

掌握好了 OpenResty,我们就可以同时拥有脚本语言的开发效率和迭代速度,以及 Nginx C 模块的高并发和高性能优势。

下面为大家介绍本文大纲

  • OpenResty 的 hello world 该怎么写
  • 快速上手 Lua 脚本语言
  • OpenResty 用到的 Nginx 知识
  • OpenResty 在网关安全中如何应用

OpenResty 的 hello world 该怎么写

OpenResty 的安装

OpenResty 的安装有多种方法,比如使用操作系统的包管理器、源码编译或者 docker 镜像。推荐优先使用 yum、apt-get、brew 这类包管理系统,来安装 OpenResty。

对于 Mac OS X 或 macOS 用户,强烈推荐您使用 homebrew 包管理工具安装 OpenResty。可以直接使用下面 这一条命令:

代码语言:javascript复制
brew install openresty/brew/openresty

对于一些常见的 Linux 发行版本(Ubuntu、Debian、CentOS、RHEL、Fedora、OpenSUSE、Alpine 和 Amazon Linux), OpenResty 提供 官方预编译包。确保首先用这种方式来安装。这里用 CentOS 举例,可以使用如下方式,

CentOS 9 或者更新版本

代码语言:javascript复制
# add the yum repo:
wget https://openresty.org/package/centos/openresty2.repo
sudo mv openresty2.repo /etc/yum.repos.d/openresty.repo

# update the yum index:
sudo yum check-update

CentOS 8 或者更老版本

代码语言:javascript复制
# add the yum repo:
wget https://openresty.org/package/centos/openresty.repo
sudo mv openresty.repo /etc/yum.repos.d/openresty.repo

# update the yum index:
sudo yum check-update

然后就可以像下面这样安装软件包,比如 openresty:

代码语言:javascript复制
sudo yum install -y openresty

Docker 安装

Docker 安装的方式就最为简单了,只需要输入以下命令,就可以获取打包好的镜像。

代码语言:javascript复制
docker pull openresty/openresty

目录结构

安装 OpenResty 成功后的目录结构如下(以默认安装目录为例):

代码语言:javascript复制
/usr/local/openresty/                          #安装主目录
├── bin                                     #存放可执行文件
├── luajit                                  #LuaJIT运行库
├── lualib                                  #Lua组件
├── Nginx                                   #Nginx核心运行平台
├── pod                                     #参考手册(restydoc)使用的数据
└── site                                    #包管理工具(opm)使用的数据

启动服务

yum 安装完后,就可以直接运行 openresty 命令,启动 OpenResty 服务。

代码语言:javascript复制
/usr/local/openresty/bin/openresty         #启动OpenResty服务

OpenResty 默认开启了 localhost:80 服务,使用 wget 或者 curl 这样的工具就可以验证 OpenResty 是否正常工作:

代码语言:javascript复制
curl http://localhost:80                   #curl命令发送HTTP请求

下面是一些其他常用命令,

代码语言:javascript复制
/usr/local/openresty/bin/openresty  -s stop       #停止 OpenResty 服务
/usr/local/openresty/bin/openresty  -s reload     #重新加载 Nginx 配置文件
/usr/local/openresty/bin/openresty  -t            #检查 Nginx 配置文件是否正确
/usr/local/openresty/bin/openresty  -c            #指定配置文件启动

OpenResty 的操作命令跟 Nginx 保持一致。可以执行 openresty -h 以及 nginx -h 对比看出,

命令行工具 resty

如果你想安装命令行工具 resty,那么可以像下面这样安装 openresty-resty 包:

代码语言:javascript复制
sudo yum install -y openresty-resty

resty 是一个 cli 工具,可以使用 -e 参数可以在命令行里直接执行 Lua 代码,我们可以在命令行执行如下命令,

代码语言:javascript复制
[root@VM-4-5-centos ~]# resty -e "print('hello world')"
hello OpenResty

resty 工具还有很多选项用于配置行为,非常灵活,-e 之外较常用的有

代码语言:javascript复制
-c                :指定最大并发连接数(默认值是64);
-I                :指定Lua库的搜索路径;
-l                :指定加载某个Lua库;
--http-conf       :定制在http域里的指令;
--main-include    :定制在main域里的指令;
--shdict          :定制使用的共享内存(参见10.2节);
--resolve-ipv6    :允许解析ipv6的地址。

想了解完整的列表,可以查看 resty -h 命令。

包管理工具 opm

跟大多数语言一样有包管理工具一样,OpenResty 也有自己的包管理工具 opm(OpenResty Package Manager),opm 在 openresty-opm 包里,安装命令如下,

代码语言:javascript复制
sudo yum install -y openresty-opm

opm 是 OpenResty 自带的包管理器,在你安装好 OpenResty 之后,就可以直接使用。一些常见用法如下,

代码语言:javascript复制
opm search    http                            #搜索关键字http
opm search    kafka                           #搜索关键字kafka
opm get       agentzh/lua-resty-http          #安装组件,注意需要sudo
opm info      agentzh/lua-resty-http          #显示组件的版本、作者等信息
opm remove    agentzh/lua-resty-http          #移除组件,同样需要sudo
opm --install-dir=/opt    get xxx             #把组件安装到/opt目录下
opm --cwd                 get xxx             #安装到当前目录的/resty_modules下

编写 hello world

在上文中我们使用命令行工具 resty 写了一个比较简单的 OpenResty 程序,没有 master 进程,也不会监听端口。下面让我们写一个需要启动 OpenResty 服务的 hello world。

首先找到 OpenResty 安装目录下 nginx/conf/nginx.conf 文件,在 server 下新增 OpenResty 的 content_by_lua 指令,里面嵌入了 ngx.say 的代码:

代码语言:javascript复制
server {
        listen       88;
        server_name  localhost;

        location / {
            root   html;
            index  index.html index.htm;
        }

        location /hello {
            content_by_lua '
                ngx.say("hello, world")
            ';
        }
}

接着我们执行 openresty -s reload 命令,重新加载 nginx.conf 配置文件。没有报错的话,OpenResty 的服务就已经成功启动了。

最后使用 curl 命令,来查看结果的返回:

代码语言:javascript复制
[root@VM-4-5-centos conf]# curl localhost:88/hello
hello, world

到这里,一个真正的 OpenResty 开发的 hello world 程序就完成了。

快速上手 Lua 脚本语言

Lua 环境

我们不用专门去安装标准 Lua 5.1 之类的环境,因为 OpenResty 已经不再支持标准 Lua,而只支持 LuaJIT。这里我介绍的 Lua 语法,也是和 LuaJIT 兼容的部分,而不是基于最新的 Lua 5.3,这一点需要特别注意。

在 OpenResty 的安装目录下,可以找到 LuaJIT 的目录和可执行文件。在 CentOS 系统下,LuaJIT 的目录如下,

代码语言:javascript复制
[root@VM-4-5-centos luajit]# cd /usr/local/openresty/luajit/bin/
[root@VM-4-5-centos bin]# ll
total 536
lrwxrwxrwx 1 root root     18 Oct 12 11:22 luajit -> luajit-2.1.0-beta3
-rwxr-xr-x 1 root root 547728 Jul 18 12:38 luajit-2.1.0-beta3

我们可以执行 cp luajit /usr/local/bin/ 将 luajit 文件复制到 /usr/local/bin/ 目录下,进而可以直接使用 luajit 命令。

查看 LuaJIT 的版本号,

代码语言:javascript复制
[root@VM-4-5-centos ~]# luajit  -v
LuaJIT 2.1.0-beta3 -- Copyright (C) 2005-2022 Mike Pall. https://luajit.org/

执行 lua 脚本,

代码语言:javascript复制
[root@VM-4-5-centos ~]# echo 'print("hello world")' > 1.lua
[root@VM-4-5-centos ~]# cat 1.lua
print("hello world")
[root@VM-4-5-centos ~]# luajit 1.lua
hello world
[root@VM-4-5-centos ~]#

也可以使用 resty 来直接运行,它最终也是用 LuaJIT 来执行的,

代码语言:javascript复制
[root@VM-4-5-centos ~]# resty -e 'print("hello world")'
hello world

基本语法

变量

在 Lua 中声明变量,可以如下代码所示,

代码语言:javascript复制
local a = 'hello'
b = "world"

加了 local 关键字,用于声明局部变量。

不加 local 关键字的话,变量默认是全局的。

注释

两个减号是单行注释

代码语言:javascript复制
-- 注释

多行注释

代码语言:javascript复制
--[[
 多行注释
 多行注释
 --]]

行尾结束

Lua 中代码的行尾结束都不需要添加特殊字符,这跟 Java 不同(Java 在行尾需要添加 ;)。

代码语言:javascript复制
local a = 'a'
print(a)

数据类型

Lua 中的数据类型不多,你可以通过 type 函数来返回一个值的类型,比如下面这样的操作:

代码语言:javascript复制
[root@VM-4-5-centos ~]# resty -e 'print(type("hello world"))
>  print(type(print))
>  print(type(true))
>  print(type(360.0))
>  print(type({}))
>  print(type(nil))
>  '

打印如下,

代码语言:javascript复制
string
function
boolean
number
table
nil

这几种就是 Lua 中的基本数据类型了。下面我们来简单介绍一下它们。

字符串

在 Lua 中,有三种方式可以表达一个字符串:单引号、双引号,以及长括号([[]]),示例如下,

新建 str.lua 文件,写入以下内容,

代码语言:javascript复制
local s = 'a'
local s1 = "b"
local s2 = [[c]]

print(s)
print(s1)
print(s2)

执行 luajit str.lua 返回结果如下,

代码语言:javascript复制
a
b
c

在 Lua 中,字符串拼接采用 .. 的方式,示例如下,

编辑 str.lua 文件,写入以下内容,

代码语言:javascript复制
local s = 'a'
local s1 = "b"
local s2 = [[c]]

print(s)
print(s1)
print(s2)

local s3 =s .. s1 ..s2
print(s3)

执行 luajit str.lua 返回结果如下,

代码语言:javascript复制
a
b
c
abc

布尔值

在 Lua 中,只有 nil 和 false 为假,其他都为 true,包括 0 和空字符串也为真。我们可以用示例印证一下:

新建 bool.lua 脚本文件,写入以下内容,

代码语言:javascript复制
local a = 0
local b
if a then
  print("true")
end
a = ""
if a then
  print("true")
end

print(b)

执行 luajit str.lua 返回结果如下,

代码语言:javascript复制
true
true
nil

在 Lua 中,空值就是 nil。如果你定义了一个变量,但没有赋值,它的默认值就是 nil,对应的就是上面示例代码的局部变量 b。

数字

Lua 的 number 类型,是用双精度浮点数来实现的。值得一提的是,LuaJIT 支持 dual-number(双数)模式,也就是说,LuaJIT 会根据上下文来用整型来存储整数,而用双精度浮点数来存放浮点数。示例如下,

新建 number.lua 脚本文件,写入以下内容,

代码语言:javascript复制
print(type(2))
print(type(2.2))
print(type(0.2))
print(type(2e 1))
print(type(0.2e-1))
print(type(7.8263692594256e-06))

print(2   2)
print(2   22.2)

执行 luajit number.lua 返回结果如下,

代码语言:javascript复制
number
number
number
number
number
number
4
24.2

函数

函数在 Lua 中是一等公民,你可以把函数存放在一个变量中,也可以当作另外一个函数的入参和出参。示例如下,

新建 fun.lua 文件,写入以下代码,

代码语言:javascript复制
-- 阶乘
function factorial1(n)
    if n == 0 then
        return 1
    else
        return n * factorial1(n - 1)
    end
end
print(factorial1(5))
factorial2 = factorial1
print(factorial2(5))

执行 luajit fun.lua 返回结果如下,

代码语言:javascript复制
120
120

分支控制

Lua 提供了以下两种分支控制结构语句:

  • if 语句
  • if...else 语句
  • if...elseif...else 语句

if 语句

Lua if 语句语法格式如下:

代码语言:javascript复制
if(布尔表达式)
then
   --[ 在布尔表达式为 true 时执行的语句 --]
end

以下是一个判断变量 a 的值是否小于 20 的示例,

新建 if1.lua,写入以下内容,

代码语言:javascript复制
--[ 定义变量 --]
a = 10;

--[ 使用 if 语句 --]
if (a < 20) then
   --[ if 条件为 true 时打印以下信息 --]
   print("a 小于 20" );
end
print("a 的值为:", a);

执行 luajit if1.lua 返回结果如下,

代码语言:javascript复制
a 小于 20
a 的值为: 10

if...else 语句

Lua if 语句可以与 else 语句搭配使用, 在 if 条件表达式为 false 时执行 else 语句代码块。

Lua if...else 语句语法格式如下:

代码语言:javascript复制
if(布尔表达式)
then
   --[ 布尔表达式为 true 时执行该语句块 --]
else
   --[ 布尔表达式为 false 时执行该语句块 --]
end

以下是一个判断变量 a 值的示例,

新建 if2.lua,写入以下内容,

代码语言:javascript复制
--[ 定义变量 --]
a = 100;
--[ 检查条件 --]
if( a < 20 )
then
   --[ if 条件为 true 时执行该语句块 --]
   print("a 小于 20" )
else
   --[ if 条件为 false 时执行该语句块 --]
   print("a 大于 20" )
end
print("a 的值为 :", a)

执行 luajit if2.lua 返回结果如下,

代码语言:javascript复制
a 大于 20
a 的值为 : 100

if...elseif...else 语句

Lua if 语句可以与 elseif...else 语句搭配使用, 在 if 条件表达式为 false 时执行 elseif...else 语句代码块,用于检测多个条件语句。

Lua if...elseif...else 语句语法格式如下:

代码语言:javascript复制
if( 布尔表达式 1)
then
   --[ 在布尔表达式 1 为 true 时执行该语句块 --]

elseif( 布尔表达式 2)
then
   --[ 在布尔表达式 2 为 true 时执行该语句块 --]

elseif( 布尔表达式 3)
then
   --[ 在布尔表达式 3 为 true 时执行该语句块 --]
else
   --[ 如果以上布尔表达式都不为 true 则执行该语句块 --]
end

以下是一个判断变量 a 值的示例,

新建 if3.lua,写入以下内容,

代码语言:javascript复制
--[ 定义变量 --]
a = 100

--[ 检查布尔条件 --]
if( a == 10 )
then
    --[ 如果条件为 true 打印以下信息 --]
    print("a 的值为 10" )
elseif( a == 20 )
then
    --[ if else if 条件为 true 时打印以下信息 --]
    print("a 的值为 20" )
elseif( a == 30 )
then
    --[ if else if condition 条件为 true 时打印以下信息 --]
    print("a 的值为 30" )
else
    --[ 以上条件语句没有一个为 true 时打印以下信息 --]
    print("没有匹配 a 的值" )
end
print("a 的真实值为: ", a )

执行 luajit if3.lua 返回结果如下,

代码语言:javascript复制
没有匹配 a 的值
a 的真实值为:  100

循环

Lua 编程语言中 for 循环语句可以重复执行指定语句,重复次数可在 for 语句中控制。

Lua 编程语言中 for 语句有两大类:

  • 数值 for 循环
  • 泛型 for 循环

数值 for 循环

Lua 编程语言中数值 for 循环语法格式:

代码语言:javascript复制
for var=exp1,exp2,exp3 do
    <执行体>
end

var 从 exp1 变化到 exp2,每次变化以 exp3 为步长递增 var,并执行一次 "执行体"。exp3 是可选的,如果不指定,默认为 1。示例如下,

新建 for1.lua 文件,写入以下内容,

代码语言:javascript复制
function f(x)
    print("function")
    return x*2
end

for i = 1, f(5) do print(i)
end

执行 luajit for1.lua 返回结果如下,

代码语言:javascript复制
function
1
2
3
4
5
6
7
8
9
10

泛型 for 循环

泛型 for 循环通过一个迭代器函数来遍历所有值,类似 java 中的 foreach 语句。

Lua 编程语言中泛型 for 循环语法格式:

代码语言:javascript复制
--打印数组a的所有值
local a = {"one", "two", "three"}
for i, v in ipairs(a) do
    print(i, v)
end

i 是数组索引值,v 是对应索引的数组元素值。ipairs 是 Lua 提供的一个迭代器函数,用来迭代数组。

将以上内容下入 for2.lua 文件,打印结果如下,

代码语言:javascript复制
1 one
2 two
3 three

Lua 模块与包

模块类似于一个封装库,从 Lua 5.1 开始,Lua 加入了标准的模块管理机制,可以把一些公用的代码放在一个文件里,以 API 接口的形式在其他地方调用,有利于代码的重用和降低代码耦合度。

Lua 提供了一个名为 require 的函数用来加载模块。要加载一个模块,只需要简单地调用就可以了。例如:

代码语言:javascript复制
require("cjson")
-- 或者
require "cjson"

Lua 比较小巧,内置的标准库并不多。在 OpenResty 的环境中默认支持了一些官方模块,如 cjson 可以直接使用,其他的一些第三方库则需要先使用 lua_package_path 指令配置 OpenResty 的文件寻址路径,又或者直接使用 opm 包管理工具来安装一些第三方模块。

OpenResty 中默认启用了下面列表的绝大部分组件,想要了解更多 OpenResty 相关组件的话,可以翻阅官网说明 https://openresty.org/cn/components.html。

代码语言:javascript复制
LuaJIT
ArrayVarNginxModule
AuthRequestNginxModule
CoolkitNginxModule
DrizzleNginxModule
EchoNginxModule
EncryptedSessionNginxModule
FormInputNginxModule
HeadersMoreNginxModule
...

本文的 Lua 语法介绍到这里就足够在 OpenResty 中编写 lua 脚本了,想要了解更多 Lua 内容,如 table、文件、调式等可以自行翻阅 https://www.runoob.com/lua/lua-tutorial.html 网站。

OpenResty 用到的 Nginx 知识

内置常量和变量

OpenResty 在内置 Lua 引擎中新增了一些常用的内置变量如下所示。

图片来源https://zhuanlan.zhihu.com/p/539546173

OpenResty 在内置 Lua 引擎中新增了一些常用的内置常量大致如下所示。

这些内置变量和常量都可以在 Lua 脚本中直接使用。

配置指令

OpenResty 定义了一系列 Nginx 配置指令,用于配置何时运行用户 Lua 脚本以及如何返回 Lua 脚本的执行结果,这些指令可以直接在 nginx.conf 配置文件中使用。

OpenResty 定义的 Nginx 配置指令大致如下所示。

图片来源https://zhuanlan.zhihu.com/p/539546173

这些指令中有 9 个 *_by_lua 指令,它们和 Nginx 的关系如下图所示

图片来自 lua-Nginx-module 文档

其中,init_by_lua 只会在 Master 进程被创建时执行,init_worker_by_lua 只会在每个 Worker 进程被创建时执行。其他的 *_by_lua 指令则是由终端请求触发,会被反复执行。

所以在 init_by_lua 阶段,我们可以预先加载 Lua 模块和公共的只读数据,这样可以利用操作系统的 COW(copy on write)特性,来节省一些内存。

对于业务代码来说,其实大部分的操作都可以在 content_by_lua 里面完成,但更推荐的做法,是根据不同的功能来进行拆分,比如下面这样:

  • set_by_lua:设置变量;
  • rewrite_by_lua:转发、重定向等;
  • access_by_lua:准入、权限等;
  • content_by_lua:生成返回内容;
  • header_filter_by_lua:应答头过滤处理;
  • body_filter_by_lua:应答体过滤处理;
  • log_by_lua:日志记录。

利用这些阶段的特性,我们可以一些通用逻辑进行拆分处理,比如我们可以在 access 阶段解密,在 body filter 阶段加密就可以了,在 content 阶段的代码是不用做任何修改的。

代码语言:javascript复制
# 加密协议版本
location /test {
    access_by_lua '...';        # 请求体解密
    content_by_lua '...';       # 处理请求,不需要关心通信协议
    body_filter_by_lua '...';   # 应答体加密
}

OpenResty 在网关安全中如何应用

WAF 介绍

Web 应用防火墙(Web Application Firewall,简称 WAF)对网站或者 App 的业务流量进行恶意特征识别及防护,在对流量清洗和过滤后,将正常、安全的流量返回给服务器,避免网站服务器被恶意入侵导致性能异常等问题,从而保障网站的业务安全和数据安全。

常见 Web 应用攻击防护

  • 防御一些常见常见威胁:SQL 注入、XSS 跨站、WebShell 上传、后门攻击、命令注入、非法 HTTP 协议请求、常见 Web 服务器漏洞攻击、CSRF、核心文件非授权访问、路径穿越、网站被扫描等。
  • CC 恶意攻击防护:控制单一源 IP 的访问频率,基于重定向跳转验证、人机识别等。针对海量慢速请求攻击,根据统计响应码及 URL 请求分布、异常 Referer 及 User-Agent 特征识别,结合网站精准防护规则综合防护。
  • 网站隐身:不对攻击者暴露站点地址,避免其绕过 Web 应用防火墙直接攻击。

相关产品

目前 WAF 相关产品主要有三类:

  • 硬件 WAF:效果好,但是贵!
  • 软件 WAF:效果还算可以,能用,有开源产品!
  • 云厂商 WAF:云厂商的 WAF 都很贵!

鉴于极客精神(白嫖万岁

0 人点赞