一、内核行数
Linux内核分为CPU调度、内存管理、网络和存储四大子系统,针对硬件的驱动成百上千。代码的数量更是大的惊人。
先说说最早的内核linux 0.11,下面这本书可以说很多驱动工程师都学习过,我花了大概1个半月,勉强看了一遍。
再来看看内核代码量的统计:
2020年1月1日,Linux内核Git源码树中的代码达到了2780万行。
phoronix网站统计了Linux内核在进入2020年时的一些源码数据并作了总结。
从统计数据来看,Linux内核源码树共有:
27852148行(包括文档、Kconfig文件、树中的用户空间实用程序等)、
887925次commit
21074位不同的作者
2780万行代码分布在66492个文件中。
Linux内核从最初的10000行代码到现在的2780万行代码就是全球精英共同贡献的结果。按照一天一万行的速度,也需要2700天,也需要7年多。这还是建立在所有单次都认识,所有代码逻辑看了的都懂,而且都不忘记的基础上。实际上即使我们真的看完了,几年后内核又会有非常大的变化,可以说一辈子都看不完Linux内核的代码。
Linux内核Git源码树中的代码达到了2780万行,核心代码只有2%是由李纳斯•托瓦兹自己编写的,其他均是其他个人和组织贡献的,李纳斯•托瓦兹公开了Linux但保留了选择新代码和需要合并的新方法的最终裁定权。
除了Linus Torvalds,对内核贡献最多的是David S.Miller、 Mark Brown、Takashi Iwai、Arnd Bergmann、Al Viro和Mauro Carvalho Chehab。
而参与贡献的公司,从域名统计来看,谷歌、Intel与Red Hat排在了最前列。
二、内核目录文件大小
然而,现在的内核已经膨胀的不成样子了,以还不算最新的linux-4.1.15为例:
整个内核源码一共约 793M:
驱动代码占了大概一半,大约380M:
体系相关的代码大约134M:
网路子系统相关的代码26M:
文件系统相关的代码37M:
linux内核核心代码大约6.8M:
这些目录任意一个目录想完全看明白都非常不容易。
内核源码获取
最新源码离线下载:
https://www.kernel.org
一个在线浏览的内核源码网站(可以浏览2.6.11~latest的源码): https://elixir.bootlin.com/linux/v5.16/source
三、内核子系统
什么是内核:
在计算机科学中是一个用来管理软件发出的数据I/O(输入与输出)要求的计算机程序,将这些要求转译为数据处理的指令并交由中央处理器(CPU)及计算机中其他电子组件进行处理,是现代操作系统中最基本的部分。
它是为众多应用程序提供对计算机硬件的安全访问的一部分软件,这种访问是有限的,并由内核决定一个程序在什么时候对某部分硬件操作多长时间。
linux内核代码涉及知识点包括汇编指令、c语言、硬件组成原理、操作系统、数据结构和算法、各种外设总线、驱动、网络协议栈。
直接对硬件操作是非常复杂的。所以内核通常提供一种硬件抽象的方法,来完成这些操作。
通过进程间通信机制及系统调用,应用进程可间接控制所需的硬件资源(特别是处理器及IO设备)。
最上面是用户(或应用程序)空间。这是用户应用程序执行的地方。用户空间之下是内核空间,Linux 内核正是位于这里。
GNU C Library (glibc)也在这里。它提供了连接内核的系统调用接口,还提供了在用户空间应用程序和内核之间进行转换的机制。
内核和用户空间的应用程序使用的是不同的保护地址空间。
每个用户空间的进程都使用自己的虚拟地址空间,而内核则占用单独的地址空间。
Linux 内核可以进一步划分成 3 层。最上面是系统调用接口,它实现了一些基本的功能,例如 read 和 write。
系统调用接口之下是内核代码,可以更精确地定义为独立于体系结构的内核代码。这些代码是 Linux 所支持的所有处理器体系结构所通用的。
在这些代码之下是依赖于体系结构的代码,构成了通常称为 BSP(Board Support Package)的部分。这些代码用作给定体系结构的处理器和特定于平台的代码。
内核主要系统包括:SCI:系统调用接口PM:进程管理VFS:虚拟文件系统MM:内存管理Network Stack:内核协议栈Arch:体系架构DD:设备驱动
1 系统调用接口
SCI 层提供了某些机制执行从用户空间到内核的函数调用。这个接口依赖于体系结构,甚至在相同的处理器家族内也是如此。
SCI 实际上是一个非常有用的函数调用多路复用和多路分解服务。
在 ./linux/kernel 中您可以找到 SCI 的实现,并在 ./linux/arch 中找到依赖于体系结构的部分。
2 进程管理
进程管理的重点是进程的执行。
在内核中,这些进程称为线程,代表了单独的处理器虚拟化(线程代码、数据、堆栈和 CPU 寄存器)。
在用户空间,通常使用进程 这个术语,不过 Linux 实现并没有区分这两个概念(进程和线程)。
内核通过 SCI 提供了一个应用程序编程接口(API)来创建一个新进程(fork、exec 或 Portable Operating System Interface [POSIX] 函数),停止进程(kill、exit),并在它们之间进行通信和同步(signal 或者 POSIX 机制)。
3 内存管理
内核所管理的另外一个重要资源是内存。为了提高效率,如果由硬件管理虚拟内存,内存是按照所谓的内存页方式进行管理的(对于大部分体系结构来说都是 4KB)。
Linux 包括了管理可用内存的方式,以及物理和虚拟映射所使用的硬件机制。
4 虚拟文件系统
虚拟文件系统(VFS)是 Linux 内核中非常有用的一个方面,因为它为文件系统提供了一个通用的接口抽象。VFS 在 SCI 和内核所支持的文件系统之间提供了一个交换层。
在 VFS 上面,是对诸如 open、close、read 和 write 之类的函数的一个通用 API 抽象。在 VFS 下面是文件系统抽象,它定义了上层函数的实现方式。
它们是给定文件系统(超过 50 个)的插件。文件系统的源代码可以在 ./linux/fs 中找到。
文件系统层之下是缓冲区缓存,它为文件系统层提供了一个通用函数集(与具体文件系统无关)。
这个缓存层通过将数据保留一段时间(或者随即预先读取数据以便在需要是就可用)优化了对物理设备的访问。缓冲区缓存之下是设备驱动程序,它实现了特定物理设备的接口。
5 网络堆栈
网络堆栈在设计上遵循模拟协议本身的分层体系结构。
回想一下,Internet Protocol (IP) 是传输协议(通常称为传输控制协议或 TCP)下面的核心网络层协议。TCP 上面是 socket 层,它是通过 SCI 进行调用的。
socket 层是网络子系统的标准 API,它为各种网络协议提供了一个用户接口。
从原始帧访问到 IP 协议数据单元(PDU),再到 TCP 和 User Datagram Protocol (UDP),socket 层提供了一种标准化的方法来管理连接,并在各个终点之间移动数据。内核中网络源代码可以在 ./linux/net 中找到。
6 设备驱动程序
Linux 内核中有大量代码都在设备驱动程序中,它们能够运转特定的硬件设备。Linux 源码树提供了一个驱动程序子目录,这个目录又进一步划分为各种支持设备,例如 Bluetooth、I2C、serial 等。设备驱动程序的代码可以在 ./linux/drivers 中找到。
下面这个图形象的讲解了Linux内核都有哪些东西!
四、如何学习内核?
1. 学习主线
linux内核源码大而全,一个人,即使再聪明、再有精力,也不可能完全看完、看懂所有的linux内核源码。
主要从
- 操作系统原理专题
- 进程管理专题
- 内存管理专题
- 网络协议栈专题
- 设备驱动专题
- 内核组件专题
- 文件系统专题
- 内核项目实战专题
- 等等。。。
全方面系统全面的讲解底层原理开发技术:
操作系统原理/汇编专题
进程管理专题
内存管理专题
网络协议栈专题
设备驱动专题
内核组件专题
文件系统专题
内核项目实战专题
Linux内核源码技术学习路线 视频教程代码资料docs.qq.com/doc/DTkZRWXRFcWx1bWVxdocs.qq.com/doc/DTkZRWXRFcWx1bWVxdocs.qq.com/doc/DTkZRWXRFcWx1bWVxdocs.qq.com/doc/DTkZRWXRFcWx1bWVx
内核学习网站:
Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈-学习视频教程-腾讯课堂ke.qq.com/course/4032547?flowToken=1040236ke.qq.com/course/4032547?flowToken=1040236ke.qq.com/course/4032547?flowToken=1040236ke.qq.com/course/4032547?flowToken=1040236
适合于
- Linux 内核优化、内存管理 ,内核开发岗位、定制化自己OS
- 深入系统内核研究、网络安全逆向分析
- 提升自己能力,为了更好做应用层开发提供核心依据
- 跳槽面试大厂(腾讯、华为、中兴、中微、中芯等等)
- 从事业务开发多年,对底层原理理解不够深入的在职工程师
- 从事嵌入式方向开发,想转入内核开发的在职工程师
- 从事Qt/MFC等桌面开发的,薪资多年涨幅不大的在职工程师
- 从事非开发岗位(算法岗,运维岗,测试岗),想转内核开发岗位的在职工程师
沿着某一个主线,深入进去,在研究清楚这个主线的同时,向其他的主线扩展、渗透和学习。
此处之所以将驱动列为学习内核的入口,是因为内核为很多外设驱动实现了架构,比如I2C、SPI、UART、PCIE、字符设备、网络设备、块设备,我们可以从最基本的字符设备学起,学习如何编写一个简单的模块学习如何如何为一些简单的设备比如LED、KEY、ADC等编写驱动可以说驱动是我们学习内核最简单的入口,
由点到线、由线到面、由面到体,层层深入、不断精进,是学习linux内核源码的一个有效的方法。
2. 代码阅读工具
对于代码阅读方法从两个角度来介绍,一个方面是需要选择一个比较有效阅读代码的工具。
小编强烈推荐:source insight这款阅读代码神器!
也可以使用vscode或者vim ctags的组合。不过小编十几年的从业经验,99%以上的开发人员都选择SI阅读内核代码。代码并不是写给人看的,而是交给机器运行的。所以我们去理解别人的代码时,并不能像看小说一样去通篇的阅读代码,而应该是像研究化石一样去调查它,解密它。有时我们往往也需要把对方的一段代码亲手的实现一遍,然后自己举一反三看自己会怎么去实现它,才能真正的理解。
阅读工具和Linux内核源代码领取地址:Linux内核源码技术学习路线 视频教程代码资料
3. 学习的内核版本
有些人推荐先阅读一些低版本的内核,比如0.01版的,总代码量才1万行左右。
阅读这个代码大概一个月应该能比较清晰了。但是,改代码与现在的代码差异巨大,阅读后可以理解基本思想,但对理解现有代码的帮助不是特别明显。
3.10版本之后的内核都支持设备树!
所以小编建议是尽量选择3.10版本之后的代码阅读学习。
4. 学习Linux最重要的是培养自己写代码的能力和对Linux框架结构的了解
Linux内核中绝大部分代码都是由这个地球上顶尖的技术大牛所编写,这些代码的高内聚低耦合,其精准度,简洁度、质量都相当的高,每每看到一段高质量的代码,小编都会被那一行行枯燥的代码背后隐藏的设计思想所震撼,所折服!