PHP底层运行机制与原理剖析
PHP说简单,但是要精通也不是一件简单的事。我们除了会使用之外,还得知道它底层的工作原理。
了解PHP底层实现的目的是什么?动态语言要想用好首先得了解它,内存管理、框架模型值得我们借鉴,通过扩展开发实现更多更强大的功能,优化我们程序的性能。
PHP
是一种适用于web
开发的动态语言。具体点说,就是一个用C
语言实现包含大量组件模块的软件框架。是一个强大的UI
框架。
简言之; PHP
动态语言执行过程:拿到一段代码后,经过词法解析、语法解析等阶段后,源程序会被翻译成一个个指令(opcodes),然后 ZEND
虚拟机顺次执行这些指令完成操作。 PHP
本身是用 C
实现的,因此最终调用的也是 C
的函数,实际上,我们可以把 PHP
看做一个 C
开发的软件。
PHP的目录结构
PHP源代码还包括在开发过程中生成的几个文件,以及在上游各自位置进行维护的几个部分。(注:PHP版本7.4.13)
代码语言:javascript复制<php-src>/
├─ .git/ # Git configuration and source directory
├─ TSRM/ # Thread Safe Resource Manager
└─ Zend/ # Zend Engine
├─ zend_vm_execute.h # Generated by `Zend/zend_vm_gen.php`
├─ zend_vm_opcodes.c # Generated by `Zend/zend_vm_gen.php`
├─ zend_vm_opcodes.h # Generated by `Zend/zend_vm_gen.php`
└─ ...
├─ appveyor/ # Appveyor CI service files
└─ build/ # *nix build system files
├─ ax_*.m4 # https://github.com/autoconf-archive/autoconf-archive
├─ config.guess # https://git.savannah.gnu.org/cgit/config.git
├─ config.sub # https://git.savannah.gnu.org/cgit/config.git
├─ libtool.m4 # https://git.savannah.gnu.org/cgit/libtool.git
├─ ltmain.sh # https://git.savannah.gnu.org/cgit/libtool.git
├─ shtool # https://www.gnu.org/software/shtool/
└─ ...
├─ docs/ # PHP internals and repository documentation
└─ ext/ # PHP core extensions
└─ bcmath/
├─ libbcmath/ # Forked and maintained in php-src
└─ ...
└─ curl/
├─ sync-constants.php # The curl symbols checker
└─ ...
└─ date/
└─ lib/ # Bundled datetime library https://github.com/derickr/timelib
├─ parse_date.c # Generated by re2c 0.15.3
├─ parse_iso_intervals.c # Generated by re2c 0.15.3
└─ ...
└─ ...
└─ ffi/
├─ ffi_parser.c # Generated by https://github.com/dstogov/llk
└─ ...
└─ fileinfo/
├─ libmagic/ # Modified libmagic https://github.com/file/file
├─ data_file.c # Generated by `ext/fileinfo/create_data_file.php`
├─ libmagic.patch # Modifications patch from upstream libmagic
├─ magicdata.patch # Modifications patch from upstream libmagic
└─ ...
└─ gd/
├─ libgd/ # Bundled and modified GD library https://github.com/libgd/libgd
└─ ...
└─ mbstring/
├─ libmbfl/ # Forked and maintained in php-src
├─ unicode_data.h # Generated by `ext/mbstring/ucgendat/ucgendat.php`
└─ ...
└─ pcre/
├─ pcre2lib/ # https://www.pcre.org/
└─ ...
└─ pdo_mysql/
├─ php_pdo_mysql_sqlstate.h # Generated by `ext/pdo_mysql/get_error_codes.php`
└─ ...
└─ skeleton/ # Skeleton for developing new extensions with `ext/ext_skel.php`
└─ ...
└─ standard/
└─ html_tables/
├─ mappings/ # https://www.unicode.org/Public/MAPPINGS/
└─ ...
├─ credits_ext.h # Generated by `scripts/dev/credits`
├─ credits_sapi.h # Generated by `scripts/dev/credits`
├─ html_tables.h # Generated by `ext/standard/html_tables/html_table_gen.php`
└─ ...
└─ tokenizer/
├─ tokenizer_data.c # Generated by `ext/tokenizer/tokenizer_data_gen.sh`
└─ ...
└─ xmlrpc/
├─ libxmlrpc/ # Forked and maintained in php-src
└─ ...
└─ zend_test # For testing internal APIs. Not needed for regular builds.
└─ ...
└─ zip/ # Bundled https://github.com/pierrejoye/php_zip
└─ ...
└─ ...
└─ main/ # Binding that ties extensions, SAPIs, and engine together
├─ streams/ # Streams layer subsystem
├─ php_version.h # Generated by release managers using `configure`
└─ ...
├─ pear/ # PEAR installation
└─ sapi/ # PHP SAPI modules
└─ cli/
├─ mime_type_map.h # Generated by `sapi/cli/generate_mime_type_map.php`
└─ ...
└─ ...
├─ scripts/ # php-config, phpize and internal development scripts
├─ tests/ # Core features tests
├─ travis/ # Travis CI service files
└─ win32/ # Windows build system files
├─ cp_enc_map.c # Generated by `win32/cp_enc_map_gen.exe`
└─ ...
└─ ...
目录 | 说明 |
---|---|
TSRM | 线程相关安全的实现,PHP的线程安全是构建在TSRM库之上的,PHP实现中常见的*G宏通常是对TSRM的封装,TSRM(Thread Safe Resource Manager)线程安全资源管理器。 |
Zend | PHP解析器的核心实现,比如脚本的词法语法解析,opcode的执行以及扩展机制的实现等 |
build | linux下编译相关的目录 |
ext | PHP的扩展,包括了绝大多数PHP的函数的定义和实现,如array系列,pdo系列,spl系列等函数的实现,都在这个目录中。个人写的扩展在测试时也可以放到这个目录,方便测试和调试。 |
main | PHP的主要代码,这里存放PHP最为核心的文件,主要实现PHP的基本设施,这里和Zend引擎不一样,Zend引擎主要实现语言最核心的语言运行环境。 |
netware | 网络目录,socket的定义与实现 |
pear | PHP扩展及应用的代码仓库,包含PEAR的核心文件。PEAR是PHP扩展与应用库(the PHP Extension and Application Repository)的缩写。它是一个PHP扩展及应用的一个代码仓库,简单地说,PEAR之于PHP就像是CPAN(Comprehensive Perl Archive Network)之于Perl。 |
sapi | PHP的应用层接口,包含了各种服务器抽象层的代码,例如apache的mod_php,cli,cgi,embed以及fpm等接口。 |
scripts | Linux下的脚本目录 |
tests | 测试脚本目录,包含PHP各项功能的测试文件 |
travis | 用于构建,非PHP特有目录 |
win32 | Windows下编译PHP的相关脚本,比如sokcet的实现在Windows下和*Nix平台就不太一样,同时也包括了Windows下编译PHP相关的脚本。 |
虽然源码目录众多,但是核心目录却只有sapi
、main
、zend
、ext
、TSRM
。
SAPI
PHP
程序的输入可以是来自于命令行的标准输入,也可以是来自基于 cgi/fastcgi
协议的网络请求。甚至可以嵌入到单片机供C
、C
程序调用。它们分别对应cli模式、fpm/cgi模式、embed模式,除了这些还有apache2handler
、litespeed模式。
- apache2handle:这是以
apache
作为webserver
,采用mod_PHP
模式运行时候的处理方式,也是现在应用最广泛的一种。 - cgi:这是
webserver
和PHP
直接的另一种交互方式,也就是大名鼎鼎的fastcgi协议,在最近fastcgi PHP
得到越来越多的应用,也是异步webserver
所唯一支持的方式;典型应用nginx
服务器;fastcgi
说白点就是php
的一个扩展 - cli:命令调用
sapi目录是对输入和输出层的抽象,是PHP提供对外服务的规范。
同理,输出可以写到命令行的标准输出,也可以作为基于cgi/fastcgi
协议的网络响应返回给客户端。
SAPI
全称 Server API
,负责PHP
对外提供服务规范,它定义了结构体sapi_module_struct
,该结构体定义了模式启动、关闭、激活、失效等多个钩子函数指针,每个模式将这些函数指针指向自己的函数,就可以轻松扩展PHP
对外服务的方式。以上几种模式也正是实现了sapi_module_strcut
才完成了PHP
的多场景应用。
fastcgi流程
Web Server
启动时载入FastCGI
进程管理器(IIS ISAPI或Apache Module)FastCGI
进程管理器自身初始化,启动多个CGI
解释器进程(可见多个php-cgi)并等待来自WebServer
的连接。- 当客户端请求到达
Web Server
时,FastCGI
进程管理器选择并连接到一个CGI
解释器。Web server
将CGI
环境变量和标准输入发送到FastCGI
子进程php-cgi
。 FastCGI
子进程完成处理后将标准输出和错误信息从同一连接返回Web Server
。当FastCGI
子进程关闭连接时,请求便告处理完成。FastCGI
子进程接着等待并处理来自FastCGI
进程管理器(运行在Web Server中)的下一个连接。 在CGI
模式中,php-cgi
在此便退出了。- 在上述情况中,你可以想象
CGI
通常有多慢。每一个Web``请求
PHP都必须重新解析php.ini
、重新载入全部扩展并重初始化全部数据结构。使用FastCGI
,所有这些都只在进程启动时发生一次。一个额外的好处是,持续数据库连接(Persistent database connection)可以工作。
main
main
目录是SAPI
层和Zend
层的黏合剂。
main
目录的作用是承接SAPI
的请求,分析出要执行的脚本文件和参数,并对环境和配置进行初始化,比如初始化变量和常量、注册函数、解析配置文件、加载扩展等等。
Zend
Zend
引擎是php
的内核部分,它将php
代码翻译(词法、语法解析等一系列编译过程)为可执行opcode
的处理并实现相应的处理方法、实现了基本的数据结构、内存分配管理等,它由编译器和执行器两部分组成
编译器负责将PHP
代码进行词法、语法分析,并生成抽象语法树,然后进一步编译为opcode
,opcode
是Zend
虚拟机可识别的指令,php7
一共有173
个opcode
,所有的语法都是由这些opcode
组成的。执行器负责执行编译器输出的opcode
。
Extensions
ext(extension)
,它是扩展PHP
内核功能的一种方式,分为PHP
扩展与zend
扩展,都支持用户自定义开发,这两种都比较常见,PHP
扩展有gd
、json
、date
、array
等,而我们熟知的opcache
就是Zend
扩展。
TSRM
TSRM(Thread Safe Resource Manager)
线程安全资源管理器。
全局变量就是定义在函数外的变量,它属于公共资源,在多线程的环境下,访问公共资源就可能会引起冲突,TSRM
就是为解决该问题而诞生的。
线程安全机制主要为了保证共享资源的安全。PHP
的线程安全机制简洁直观——在多线程环境下,为每个线程提供独立的全局变量副本。具体实施是通过TSRM
为每个线程分配(分配前加锁)一个独立ID
(自增)作为当前线程的全局变量内存区索引,在以后的全局变量访问中,实现线程之间的完全独立。
PHP
大部分SAPI
都是单线程的,所以并不需要过多关注线程安全,但是在Apache
或者用户自己实现的PHP
环境下,就需要考虑线程安全问题了。
PHP的设计理念及特点
- 多进程模型:由于PHP是多进程模型,不同请求间互不干涉,这样保证了一个请求挂掉不会对全盘服务造成影响,目前PHP也早支持多线程模型。
- 弱类型语言:和C/C 、JAVA、C#等语言不同,PHP是一种弱类型的语言。一个变量的类型并不是一开始就确定不变的,运行中才会确定并可能发生隐式或显示的类型转换,这种机制的灵活性在web开发中非常方便、高效,具体会在后面PHP变量中详述。
- 引擎(Zend) 组件(ext)的模式降低内部耦合。
- 中间层(sapi )Sapi全称是Server Application Programming Interface 隔绝web server和PHP。
- 语法简单灵活,没有太多规范。缺点导致风格混杂。
php执行流程&opcode
php
动态语言执行过程:拿到一段代码后,经过词法解析、语法解析等阶段后,源程序会被翻译成一个个指令(opcodes),然后 Zend
虚拟机顺序执行这些指令。 php
本身是用 c
实现的,因此最终调用的也是 c
函数,实际上,我们可以把php
看做是c
开发的一个软件
php
的执行核心就是翻译出来的指令(opcode),是php
程序执行的基本单元
常见几个处理函数:
代码语言:javascript复制ZEND_ASSIGN_SPEC_CV_CV_HANDLER : 变量分配 ($a=$b)
ZEND_DO_FCALL_BY_NAME_SPEC_HANDLER:函数调用
ZEND_CONCAT_SPEC_CV_CV_HANDLER:字符串拼接 $a.$b
ZEND_ADD_SPEC_CV_CONST_HANDLER: 加法运算 $a 2
ZEND_IS_EQUAL_SPEC_CV_CONST:判断相等 $a==1
ZEND_IS_IDENTICAL_SPEC_CV_CONST:判断相等 $a===1
HashTable——核心数据结构
HashTable
是Zend
的核心数据结构,在PHP
里面几乎并用来实现所有常见功能,我们知道的PHP数组即是其典型应用,此外,在zend
内部,如函数符号表、全局变量等也都是基于hash table
具有如下特点:
- 支持典型的
key->value
查询 - 可以当做数组使用
- 添加、删除节点是O(1)复杂度
- key支持混合类型:同时存在关联数组合索引数组
- Value支持混合类型:array("string",2332)
- 支持线性遍历:如
foreach
Zend hash table
实现了典型的hash
表散列结构,同时通过附加一个双向链表,提供了正向、反向遍历数组的功能。其结构如下图:
可以看到:在hash table
中既有key->value
形式的散列结构,也有双向链表模式,使得它能够非常方便的支持快速查找和线性遍历。
- 散列结构:
Zend
的散列结构是典型的hash
表模型,通过链表的方式来解决冲突。需要注意的是zend
的hash table
是一个自增长的数据结构,当hash
表数目满了之后,其本身会动态以2倍的方式扩容并重新元素位置。初始大小均为8。另外,在进行key->value
快速查找时候,zend
本身还做了一些优化,通过空间换时间的方式加快速度。比如在每个元素中都会用一个变量nKeyLength
标识key
的长度以作快速判定。 - 双向链表:
Zend hash table
通过一个链表结构,实现了元素的线性遍历。理论上,做遍历使用单向链表就够了,之所以使用双向链表,主要目的是为了快速删除,避免遍历。Zend hash table
是一种复合型的结构,作为数组使用时,即支持常见的关联数组也能够作为顺序索引数字来使用,甚至允许2者的混合。PHP关联数组:关联数组是典型的hash_table
应用。一次查询过程经过如下几步(从代码可以看出,这是一个常见的hash查询过程并增加一些快速判定加速查找。):
getKeyHashValue h;
index = n & nTableMask;
Bucket *p = arBucket[index];
while (p) {
if ((p->h == h) && (p->nKeyLength == nKeyLength)) {
RETURN p->data;
}
p=p->next;
}
RETURN FALTURE;
- PHP索引数组
索引数组就是我们常见的数组,通过下标访问。例如:arr[0],zend hashtable内部进行了归一化处理,对于index类型key同样分配了hash值和nKeyLength(为0)。内部成员变量 nNextFreeElement就是当前分配到的最大id,每次push后自动加一。正是这种归一化处理,PHP才能够实现关联和非关联的混合。由于 push操作的特殊性,索引key在PHP数组中先后顺序并不是通过下标大小来决定,而是由push的先后决定。例如 arr[1] = 2;
PHP变量
PHP
是一门弱类型语言,本身不严格区分变量的类型。PHP
在变量申明的时候不需要指定类型。
PHP
在程序运行期间可能进行变量类型的隐示转换。 和其他强类型语言一样,程序中也可以进行显示的类型转换。
PHP
变量可以分为简单类型(int、string、bool)、集合类型(array resource object)和常量(const)。以上所有的变量在底层都是同一种结构 zval
。
Zval
主要由三部分组成:
- type:指定了变量所述的类型(整数、字符串、数组等)
- refcount&is_ref:用来实现引用计数(后面具体介绍)
- value:核心部分,存储了变量的实际数据
Zvalue
是用来保存一个变量的实际数据。因为要存储多种类型,所以zvalue
是一个union
,也由此实现了弱类型。
php
变量类型和其实际存储对应关系如下:
- 引用计数在内存回收、字符串操作等地方使用非常广泛。
PHP
中的变量就是引用计数的典型应用。Zval
的引用计数通过成员变量is_ref
和ref_count
实现,通过引用计数,多个变量可以共享同一份数据。避免频繁拷贝带来的大量消耗。在进行赋值操作时,zend
将变量指向相同的Zval
同时ref_count
,在unset
操作时,ref_count-1
。只有当ref_count
减为0时,才会真正执行销毁操作。如果是引用赋值,则zend
会修改is_ref
为 1. PHP
变量通过引用计数实现变量共享数据,那么如果改变其中一个变量值呢?当试图写入一个变量时,Zend
若发现该变量指向的Zval
被多个变量共享,则为其复制一份ref_count
为 1的Zval
,并递减原Zval
的refcount
,这个过程称为 'Zval
分离'。可见,只有在有写操作发生时zend
才会进行拷贝操作, 因此也叫copy-on-write(写时拷贝)
对于引用变量,其要求和非引用型相反,引用赋值的变量必须是捆绑的,修改了一个变量就修改了所有捆绑变量。整数、浮点数是PHP中基础类型之一,也是一个简单型变量。对于整数和浮点数,在Zval
ue中是直接存储对应的值。其类型是long
和double
- 从
Zvalue
结构中可以看出,对于整数类型,和 c等强类型语言不同,php
是不区分int
、unsigned int
、long
等类型的,对它来说,整数只有一种类型也就是long
。由此,可以看出,在php
中,整数的取值范围是由编译器的位数来决定的而不是固定不变的 - 对于浮点数,类似整数,它也不区分
float
和double
,而是统一只有double
一种类型。在php
中,如果整数越界了怎么办?这种情况下会自动转换为double
类型,这个一定要小心,很多trik
都是由此产生。 - 和整数一样,字符变量也是
php
的基础类型和简单类型变量。通过Zvalue
结构可以看出,在php
中,字符串是由实际数据的指针和长度结构体组成,这点和c
中的string
比较类似。由于通过一个实际变量表示长度,和c不同,它的字符串可以是二进制数(包含 ),同时在php
中,求字符串strlen
是 O(1) 操作。在新增、修改、追加字符串操作时,php
都会重新分配内存生成新的字符串。最后,出于安全考虑,php
在生成一个字符串时末尾仍然会添加一个