前言
今天开始，我们对编译器架构系统LLVM进行一个简单的了解和分析，了解完LLVM的编译流程之后，简单实现一个Clang插件玩玩。下面就开始今天的内容。
研究编译器之前，先了解下解释型语言和编译型语言的区别。
- 解释型语言：程序不需要编译，程序在运行时才翻译成机器语言，每执行一次都要翻译一次。效率比较低，依赖解释器，跨平台性好。
- 编译型语言：程序在执行之前需要一个专门的编译过程，把程序编译成为机器语言的文件，运行时不需要重新翻译，直接使用编译的结果就行了。程序执行效率高，依赖编译器，跨平台性差些。
那么有没有什么办法能让程序执行效率高的同时，还能保证跨平台性好呢？
嘿嘿，当然有。今天要探索的LLVM就提出了相应的解决方案。
一: LLVM
1.1 LLVM概述
LLVM是架构编译器（compiler）的框架系统，以C 编写而成，用于优化以任意程序语言编写的程序的编译时间（compile-time）、链接时间（link-time）、运行时间（run-time）以及空闲时间（idle-time），对开发者保持开放，并兼容已有脚本。
LLVM计划启动与2000年，最初由美国UIUC大学的Chris Lattner博士主持开展。2006年Chris Lattner加盟Apple Inc.并致力于LLVM在Apple开发体系中的应用。Apple也是LLVM计划的主要资助者。
目前LLVM已经被苹果iOS开发工具、Xilinx Vivado、Facebook、Google等各大公司采用。
1.2: 传统编译器设计
1.2.1: 编译器前端（Frontend）
编译器前端的任务是解析源代码。它会进行：词法分析，语法分析，语义分析，检查源代码是否存在错误，然后构建抽象语法树（Abstract Syntax Tree，AST），LLVM的前端还会生成中间代码（intermediate representation，IR）。
1.2.2: 优化器（Optimizer）
优化器负责进行各种优化。缩小包的体积（剥离符号）、改善代码的运行时间（消除冗余计算、减少指针跳转次数等）。
1.2.3: 后端（Backend）/代码生成器（CodeGenerator）
后端将代码映射到目标指令集。生成机器语言，并且进行机器相关的代码优化。
由于传统的编译器（如GCC）是作为整体的应用程序设计的，不支持多种语言或者多种硬件架构，所以它们的用途受到了很大的限制。
1.3: LLVM的设计
当编译器决定支持多种源语言或多种硬件架构时，LLVM最重要的地方就来了。
LLVM设计的最重要方面是，使用通用的代码表示形式（IR），它是用来在编译器中表示代码的形式。LLVM可以为任何编程语言独立编写前端，并且可以为任意硬件架构独立编写后端。
在需要支持一种新语言时，只需要再对应编写一个可以产生IR的独立前端；需要支持一种新硬件架构时，只需要再对应编写一个可以接收IR的独立后端。
1.3.1: iOS的编译器架构
Objective-C/C/C 使用的编译器前端是Clang，Swift是Swift，后端都是LLVM。
二: Clang
Clang是LLVM项目中的一个子项目。它是基于LLVM架构的轻量级编译器，诞生之初是为了替代GCC，提供更快的编译速度。它是负责编译Objective-C/C/C 语言的编译器，它属于整个LLVM架构中的编译器前端。对于开发者来说，研究Clang可以给我们带来很多好处。
2.1: 编译流程
通过下面命令可以打印源码的编译阶段：
代码语言：javascript复制clang -ccc-print-phases main.m打印结果如下：
- 输入文件：找到源文件。
- 预处理阶段：这个过程处理包括宏的替换，头文件的导入。
- 编译阶段：进行词法分析、语法分析、检测语法是否正确，最终生成IR（或bitcode）。
- 后端：这里LLVM会通过一个一个的Pass（环节、片段）去优化，每个Pass做一些事情，最终生成汇编代码。
- 生成目标文件。
- 链接：链接需要的动态库和静态库，生成可执行文件。
- 根据不同的硬件架构（此处是M1版iMAC，arm64），生成对应的可执行文件。
整个过程中，没有明确指出优化器，是因为优化已经分布在前后端里面了。
0: 输入源文件
找到源文件。
1: 预处理阶段
执行预处理指令，包括进行宏替换、头文件的导入、条件编译，产生新的源码给到编译器。
通过下面命令，可以看到执行预处理指令后的代码：
代码语言：javascript复制// 直接在终端查看
clang -E main.m
// 生成mian1.m文件查看
clang -E main.m >> main1.m
2: 编译阶段
进行词法分析、语法分析、语义分析、检测语法是否正确、生成AST、生成IR（.ll）或者bitcode（.bc）文件。
2.1: 词法分析
预处理完成后就会进行词法分析，将代码分割成一个个Token及标明其所在的行数和列数，包括关键字、类名、方法名、变量名、括号、运算符等。
使用下面命令可以，可以看到词法分析后的结果：
代码语言：javascript复制clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m（滑动显示更多）
2.2: 语法分析
词法分析完成之后就是语法分析，它的任务是验证源码的语法结构的正确性。在词法分析的基础上，将单词序列组合成各类语法短语，如“语句”，“表达式”等，然后将所有节点组成抽象语法树（Abstract Syntax Tree，AST）。
通过下面命令，可以查看语法分析后的结果：
代码语言：javascript复制clang -fmodules -fsyntax-only -Xclang -ast-dump main.m
// 如果导入头文件找不到，可以指定SDK
clang -isysroot sdk路径 -fmodules -fsyntax-only -Xclang -ast-dump main.m
（滑动显示更多）
语法树分析：
代码语言：javascript复制// 这里的地址都是虚拟地址（当前文件的偏移地址），运行时才会开辟真实地址
// Mach-O反编译拿到的地址就是这个虚拟地址
// typedef 0x1298ad470 虚拟地址
-TypedefDecl 0x1298ad470 <line:12:1, col:13> col:13 referenced XJ_INT_64 'int'
| `-BuiltinType 0x12a023500 'int'
// main函数，返回值int，第一个参数int，第二个参数const char **
`-FunctionDecl 0x1298ad778 <line:15:1, line:22:1> line:15:5 main 'int (int, const char **)'
// 第一个参数
|-ParmVarDecl 0x1298ad4e0 <col:10, col:14> col:14 argc 'int'
// 第二个参数
|-ParmVarDecl 0x1298ad628 <col:20, col:38> col:33 argv 'const char **':'const char **'
// 复合语句，当前行 第41列 到 第22行第1列
// 即main函数 {} 范围
/*
{
XJ_INT_64 a = 10;
XJ_INT_64 b = 20;
printf("%d", a b C);
return 0;
}
*/
`-CompoundStmt 0x12a1aa560 <col:41, line:22:1>
// 声明 第17行第5列 到 第21列，即 XJ_INT_64 a = 10
|-DeclStmt 0x1298ad990 <line:17:5, col:21>
// 变量 a，0x1298ad908 虚拟地址
| `-VarDecl 0x1298ad908 <col:5, col:19> col:15 used a 'XJ_INT_64':'int' cinit
// 值是 10
| `-IntegerLiteral 0x1298ad970 <col:19> 'int' 10
// 声明 第18行第5列 到 第21列，即XJ_INT_64 b = 20
|-DeclStmt 0x1298adeb8 <line:18:5, col:21>
// 变量 b，0x1298ad9b8 虚拟地址
| `-VarDecl 0x1298ad9b8 <col:5, col:19> col:15 used b 'XJ_INT_64':'int' cinit
// 值是 20
| `-IntegerLiteral 0x1298ada20 <col:19> 'int' 20
// 调用 printf 函数
|-CallExpr 0x12a1aa4d0 <line:19:5, col:27> 'int'
//函数指针类型，即 int printf(const char * __restrict, ...)
| |-ImplicitCastExpr 0x12a1aa4b8 <col:5> 'int (*)(const char *, ...)' <FunctionToPointerDecay>
// printf函数，0x1298ada48 虚拟地址
| | `-DeclRefExpr 0x1298aded0 <col:5> 'int (const char *, ...)' Function 0x1298ada48 'printf' 'int (const char *, ...)'
// 第一个参数，""里面内容
| |-ImplicitCastExpr 0x12a1aa518 <col:12> 'const char *' <NoOp>
// 类型说明
| | `-ImplicitCastExpr 0x12a1aa500 <col:12> 'char *' <ArrayToPointerDecay>
// %d
| | `-StringLiteral 0x1298adf30 <col:12> 'char [3]' lvalue "%d"
// 加法运算，a b 的值作为第一个值 第二个值 30
| `-BinaryOperator 0x12a1aa440 <col:18, line:10:11> 'int' ' '
// 加法运算，a b
| |-BinaryOperator 0x12a1aa400 <line:19:18, col:22> 'int' ' '
// 类型说明
| | |-ImplicitCastExpr 0x1298adfc0 <col:18> 'XJ_INT_64':'int' <LValueToRValue>
// a
| | | `-DeclRefExpr 0x1298adf50 <col:18> 'XJ_INT_64':'int' lvalue Var 0x1298ad908 'a' 'XJ_INT_64':'int'
// 类型说明
| | `-ImplicitCastExpr 0x1298adfd8 <col:22> 'XJ_INT_64':'int' <LValueToRValue>
// b
| | `-DeclRefExpr 0x1298adf88 <col:22> 'XJ_INT_64':'int' lvalue Var 0x1298ad9b8 'b' 'XJ_INT_64':'int'
// 宏替换后的 30
| `-IntegerLiteral 0x12a1aa420 <line:10:11> 'int' 30
// return 0
`-ReturnStmt 0x12a1aa550 <line:21:5, col:12>
`-IntegerLiteral 0x12a1aa530 <col:12> 'int' 0
（滑动显示更多）
语法错误时，会指出相应错误：
2.3: 生成中间代码IR（intermediate representation）
完成以上步骤后就开始生成中间代码IR了，代码生成器（Code Generation）会将语法树自顶向下遍历逐步翻译成LLVM IR。OC代码在这一步会进行runtime的桥接，比如property合成、ARC处理等。
2.3.1: IR的基本语法
- @ 全局标识
- % 局部标识
- alloca 开辟空间
- align 内存对齐
- i32 32个bit，4个字节
- store 写入内存
- load 读取数据
- call 调用函数
- ret 返回
通过下面命令，可以生成.ll的文本文件，查看IR代码。
代码语言：javascript复制clang -S -fobjc-arc -emit-llvm main.m（滑动显示更多）
2.4: IR的优化
在上面的IR代码中，可以看到，通过一点一点翻译语法树，生成的IR代码，看起来有点蠢，其实是可以优化的。
LLVM的优化级别分别是-O0、-O1、-O2、-O3、-Os、-Ofast、-Oz（第一个是大写英文字母O）。
可以使用命令进行优化：
代码语言：javascript复制clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll（滑动显示更多）
优化后的IR代码，简洁明了（优化等级并不是越高越好，release模式下为-Os，这也是最推荐的）。
也可以在 xcode 中设置：target -> build Setting -> Optimization Level
2.5: bitCode
Xcode 7以后，如果开启bitcode，苹果会对.ll的IR文件做进一步的优化，生成.bc文件的中间代码。
通过下面命令，使用优化后的IR代码生成.bc代码：
代码语言：javascript复制clang -emit-llvm -c main.ll -o main.bc（滑动显示更多）
3: 后端阶段（生成汇编.s）
后端将接收到的IR结构转化成不同的处理对象，并将其处理过程实现为一个个的Pass类型。通过处理Pass，来完成对IR的转换、分析和优化。然后生成汇编代码（.s）。
通过下面命令，使用.bc或者.ll代码生成汇编代码：
代码语言：javascript复制// bitcode -> .s
clang -S -fobjc-arc main.bc -o main.s
// IR -> .s
clang -S -fobjc-arc main.ll -o main.s
// 也可以对汇编代码进行优化
clang -Os -S -fobjc-arc main.ll -o main.s
（滑动显示更多）
4: 汇编阶段（生成目标文件.o）
目标文件的生成，是汇编器以汇编代码作为输入，将汇编代码转换为机器代码，最后输出目标文件（.o）。
命令如下：
代码语言：javascript复制clang -fmodules -c main.s -o main.o（滑动显示更多）
通过nm命令，查看main.o中的符号：
代码语言：javascript复制xcrun nm -nm main.o（滑动显示更多）
输出结果如下：
可以看到执行命令后，报了一个错：找不到外部的_printf符号。因为这个函数是从外部引入的，需要将使用的对应的库链接进来。
5: 链接阶段（生成可执行文件Mach-O）
链接器把编译产生的.o文件、需要的动态库.dylib和静态库.a链接到一起，生成可执行文件（Mach-O文件）。
命令如下：
代码语言：javascript复制clang main.o -o main查看链接之后的符号：
可以看到输出结果中依然显示找不到外部符号_printf，但是后面多了(from libSystem)，指明了_printf所在的库是libSystem。这是因为libSystem动态库需要在运行时动态绑定。
test函数和main函数也已经生成了文件的偏移位置。目前这个文件已经是一个正确的可执行文件了。
同时还多了一个dyld_stub_binder符号，其实只要链接就会有这个符号，这个符号是负责动态绑定的，在Mach-O进入内存后（即执行），dyld立刻将libSystem中dyld_stub_binder的函数地址与Mach-O中的符号进行绑定。
dyld_stub_binder符号是非懒绑定。其他的懒绑定符号，比如此处的_printf，在首次使用的时候通过dyld_stub_binder来将真实的函数地址与符号进行绑定，调用的时候就可以通过符号找到对应库里面的函数地址进行调用了。
外部函数绑定图解：
链接和绑定的区别：
- 链接，编译时，标记符号在哪个库，只是做了一个标记。
- 绑定，运行时，将外部函数地址与Mach-O中的符号进行绑定。
使用如下命令执行Mach-O文件：
代码语言：javascript复制./main执行结果：
6: 绑定硬件架构
根据不同的硬件架构（此处是M1版iMAC，arm64），生成对应的可执行文件。
2.2: 总结编译流程
2.2.1: 各阶段使用的命令
代码语言：javascript复制
//// ====== 前端 开始=====
// 1. 词法分析 clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m
// 2. 语法分析
clang -fmodules -fsyntax-only -Xclang -ast-dump main.m // 3. 生成IR文件 clang -S -fobjc-arc -emit-llvm main.m
// 3.1 指定优化级别生成IR文件
clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll
// 3.2 （根据编译器设置） 生成bitcode 文件
clang -emit-llvm -c main.ll -o main.bc
//// ====== 后端 开始=====
// 1. 生成汇编文件
// bitcode -> .s
clang -S -fobjc-arc main.bc -o main.s
// IR -> .s
clang -S -fobjc-arc main.ll -o main.s
// 指定优化级别生成汇编文件
clang -Os -S -fobjc-arc main.ll -o main.s
// 2. 生成目标Mach-O文件
clang -fmodules -c main.s -o main.o
// 2.1 查看Mach-O文件
xcrun nm -nm main.o
// 3. 生成可执行Mach-O文件
clang main.o -o main
//// ====== 执行 开始=====
// 4. 执行可执行Mach-O文件
./main
（滑动显示更多）
大家可能会疑惑，生成汇编文件就已经是编译器后端的工作了，为什么还是使用的clang命令呢？这是因为我们使用clang提供的接口调起后端相应的功能。至于后端有没有自己特有的命令，我就不知道。欢迎科普。
2.2.2: 各阶段生成的文件类型
2.2.3: 编译流程图
总结与预告
- 解释型语言 & 编译型语言
- LLVM编译器（重点）：
- 前端：读取代码，词法分析，语法分析，生成AST。LLVM独有:IR，苹果独有：bc
- 优化器：根据一个又一个Pass进行优化
- 后端：生成汇编代码，生成目标文件，链接动、静态库，根据不同的架构生成对应的可执行文件
- LLVM的好处是啥？
- 前后端分离，扩展性非常强。
- LLVM编译流程（重点）：
- 输入文件：找到源文件。
- 预处理阶段：这个过程处理包括宏的替换，头文件的导入。
- 编译阶段：进行词法分析、语法分析、检测语法是否正确，最终生成IR（或bitcode）。
- 后端：这里LLVM会通过一个一个的Pass（环节、片段）去优化，每个Pass做一些事情，最终生成汇编代码。
- 生成目标文件。
- 链接：链接需要的动态库和静态库，生成可执行文件。
- 根据不同的硬件架构（此处是M1版iMAC，arm64），生成对应的可执行文件。
本文主要介绍了下LLVM和Clang相关的概念、设计思想和编译流程，下篇文章将使用LLVM和Clang实现一个简单的插件，敬请期待。
原文链接：
https://juejin.cn/post/7002520678830342152
