Chapter 33. 回归测试
回归测试是PostgreSQL中对于 SQL 实现的一组综合测试集。它们测试标准 SQL 操作以及PostgreSQL的扩展能力。
33.1. 运行测试
回归测试可以在一个已经安装并运行的服务器上运行,或者在编译树中的一个临时安装上运行。此外,还有运行该测试的“并行”和“顺序”模式。顺序方法单独运行每一个测试脚本,而并行方法则开启多个服务器进程来并行地运行多组测试。并行测试能够发现进程间通信和锁定是否工作正确。
33.1.1. 在一个临时安装上运行测试
要在编译之后且在安装之前运行并行回归测试,可在顶层目录中键入:
make check
代码语言:javascript复制(或者你可以切换到src/test/regress并且在那里运行该命令)。最后你应该看到这样的信息:
=======================
All 115 tests passed.
=======================
或者关于哪些测试失败的提示。见下面的Section 33.2来确定一个“失败”是否表示一个严重的问题。
因为这种测试方法运行一个临时服务器,如果你作为根用户进行了编译,它将无法工作,因为服务器无法用 root 启动。我们推荐的过程是不要作为 root 编译,或者在完成安装后执行测试。
如果你已经配置PostgreSQL安装到一个已经存在有旧的PostgreSQL安装的位置,并且你在安装新版本前执行了make check,你可能会发现测试会因为新程序尝试使用已经安装的共享库而失败(典型特征是抱怨未定义的符号)。如果你希望在覆盖旧安装之前运行测试,你将需要使用configure --disable-rpath编译。但是我们不推荐为最终安装使用这个选项。
并行回归测试会在你的用户 ID 下启动相当多的进程。当前,最大并发量是二十个并行测试脚本,这意味着四十个进程:对每一个测试脚本有一个服务器进程和一个psql进程。因此如果你的系统对每个用户的进程数有强制限制,确保这个限制至少是五十,否则你将在并行测试中失败。如果你没有权利提升该限制,你可以通过设置MAX_CONNECTIONS
参数来降低并发度。例如:
make MAX_CONNECTIONS=10 check
会并发运行不超过十个测试。
33.1.2. 在一个现有安装上运行测试
要在安装后运行测试(见Chapter 16),初始化一个数据区域并且按照Chapter 18所解释的启动服务器,然后输入:
make installcheck 或者进行一次并行测试:
make installcheck-parallel 该测试将期望联系在本地主机和默认端口号上的服务器(除非通过PGHOST和PGPORT环境变量覆盖)。该测试将在一个名为regression的数据库中运行,任何以该名称存在的数据库将被删除。
该测试还将短暂地创建一些集簇范围内的对象,例如角色和表空间。这些对象的名称都会以regress_开始。在实际具有以这种方式命名对象的安装中使用installcheck模式时要格外小心。
33.1.3. 附加测试套件
make check
和make installcheck
命令只运行“核心的”回归测试,这只测试PostgreSQL服务器的内建功能。源代码发布也包含额外的测试套件,它们中的大部分用于测试附加功能,例如可选的过程语言。
要运行将被编译模块的所有测试套件(包括核心测试),在编译树的顶端输入这些命令之一:
代码语言:javascript复制make check-world
make installcheck-world
这些命令分别在临时服务器或已经安装好的服务器上运行测试(与之前介绍的make check
和make install check
类似)。其他的考虑与之前为每种方法解释的相同。注意make check-world
为每一个受测模块建立一个独立的临时安装树,因此它比起make installcheck-world
需要更多的时间和磁盘空间。
你也可以通过在编译树适当的子目录中输入make check
或make installcheck
来运行个体的测试套件。记住make installcheck假设你已经安装了相关模块,而不仅仅是核心服务器。
可以以这种方法调用的额外测试包括:
- 可选过程语言的回归测试(除PL/pgSQL之外,它将被核心测试测试)。这些位于src/pl之下。
- contrib模块的回归测试,位于contrib。不是所有的contrib模块都有测试。
- ECPG 接口库的回归测试,位于
src/interfaces/ecpg/test
。 - 并发会话行为的压力测试,位于
src/test/isolation
。 - 客户端的测试程序在src/bin下。另见 Section 33.4。
在使用installcheck模式时,这些测试将毁掉任何现有的名为pl_regression、contrib_regression、isolation_regression、ecpg1_regression
或者ecpg2_regression
的数据库,以及regression。
只有在PostgreSQL被使用选项–enable-tap-tests配置时,基于TAP的测试才能被运行。推荐在开发时使用这种方式,但如果没有合适的Perl安装可用也可以忽略。
一些测试套件默认不会被运行,因为它们在多用户系统上运行不安全或者它们需要特殊的软件。可以通过设置make或环境变量为空格分隔的列表来决定额外运行哪些测试套件,例如:
代码语言:javascript复制make check-world PG_TEST_EXTRA='kerberos ldap ssl'
当前支持下列值: kerberos 运行src/test/kerberos下的测试套件。这要求一个MIT Kerberos安装并且打开TCP/IP监听端口。
ldap
运行src/test/ldap
下的测试套件。这要求一个OpenLDAP安装并且打开TCP/IP监听端口。
ssl 运行src/test/ssl下的测试套件。这会打开TCP/IP监听端口。
即便在PG_TEST_EXTRA中提到了当前编译配置不支持的特性,针对它们的测试也不会被运行。
33.1.4. 区域和编码
默认情况下,测试使用的临时安装将使用在当前环境中定义的区域和由initdb决定的相应数据库编码。通过设置适当的环境变量来测试不同的区域是有用的,例如:
代码语言:javascript复制make check LANG=C
make check LC_COLLATE=en_US.utf8 LC_CTYPE=fr_CA.utf8
由于实现的原因,为此目的设置LC_ALL不能工作,所有其他区域相关的环境变量都可以工作。
在对一个现有安装测试时,区域由现有数据库集簇决定并且不能为测试而独立设置。你也可以通过设置变量ENCODING来显式地选择数据库编码,例如:
代码语言:javascript复制make check LANG=C ENCODING=EUC_JP
这样设置数据库编码通常只对区域为 C 有意义;否则编码将自动从区域选择,并且指定一个不匹配区域的编码将会导致错误。
不管测试是针对临时安装还是已有安装,数据库编码都可以被设置,然而在后一种情况中它必须与安装的区域相兼容。
33.1.5. 额外测试
核心回归测试套件包含一些默认情况下不被运行的测试文件,因为它们可能平台相关的或者需要很长时间来运行。你可以通过设置变量EXTRA_TESTS来运行这些或者其他额外测试文件。例如,要运行numeric_big
测试:
make check EXTRA_TESTS=numeric_big
要运行排序规则测试:
代码语言:javascript复制make check EXTRA_TESTS='collate.icu.utf8 collate.linux.utf8' LANG=en_US.utf8
collate.linux.utf8测试只在 Linux/glibc 平台上能够工作。只有在编译了ICU支持时,collate.icu.utf8测试才能工作。两种测试只有在使用 UTF-8 编码的数据库中才能成功运行。
33.1.6. 测试热备
源代码发布中还包含有用于热备的静态行为的回归测试。这些测试需要一个运行着的主服务器和一个运行着的后备服务器,并且后备服务器正从主服务器接受新的 WAL 改变(使用基于文件的日志传送或流复制)。那些服务器不是自动创建的,这里也没有关于建立复制的文档。请查阅本文档中的相关章节。
要运行热备测试,首先在主服务器上创建一个名为regression的数据库:
代码语言:javascript复制psql -h primary -c "CREATE DATABASE regression"
接下来,在主服务器上的 regression 数据库中运行准备脚本src/test/regress/sql/
hs_primary_setup.sql
,例如:
psql -h primary -f src/test/regress/sql/hs_primary_setup.sql regression
允许这些改变传播到后备服务器。
为受测后备服务器安排默认数据库连接(例如通过设置PGHOST和PGPORT环境变量)。最后,在 regression 目录中运行make standbycheck:
代码语言:javascript复制cd src/test/regress
make standbycheck
在主服务器上也可以使用src/test/regress/sql/hs_primary_extremes.sql
脚本生成某些极限行为来允许测试后备服务器的行为。