好多网友都不知道怎么阅读Linux内核源码,这篇让你快速理解

2022-10-22 17:57:20 浏览数 (3)

一、内核行数

Linux内核分为CPU调度、内存管理、网络和存储四大子系统,针对硬件的驱动成百上千。代码的数量更是大的惊人。

先说说最早的内核linux 0.11,下面这本书可以说很多驱动工程师都学习过,我花了大概1个半月,勉强看了一遍。

再来看看内核代码量的统计:

2020年1月1日,Linux内核Git源码树中的代码达到了2780万行。

phoronix网站统计了Linux内核在进入2020年时的一些源码数据并作了总结。

从统计数据来看,Linux内核源码树共有:

27852148行(包括文档、Kconfig文件、树中的用户空间实用程序等)

887925次commit

21074位不同的作者

2780万行代码分布在66492个文件中

Linux内核从最初的10000行代码到现在的2780万行代码就是全球精英共同贡献的结果。按照一天一万行的速度,也需要2700天,也需要7年多。这还是建立在所有单次都认识,所有代码逻辑看了的都懂,而且都不忘记的基础上。实际上即使我们真的看完了,几年后内核又会有非常大的变化,可以说一辈子都看不完Linux内核的代码。

Linux内核Git源码树中的代码达到了2780万行,核心代码只有2%是由李纳斯•托瓦兹自己编写的,其他均是其他个人和组织贡献的,李纳斯•托瓦兹公开了Linux但保留了选择新代码和需要合并的新方法的最终裁定权。

除了Linus Torvalds,对内核贡献最多的是David S.Miller、 Mark Brown、Takashi Iwai、Arnd Bergmann、Al Viro和Mauro Carvalho Chehab。

而参与贡献的公司,从域名统计来看,谷歌、Intel与Red Hat排在了最前列。

二、内核目录文件大小

然而,现在的内核已经膨胀的不成样子了,以还不算最新的linux-4.1.15为例:

整个内核源码一共约 793M:

驱动代码占了大概一半,大约380M:

体系相关的代码大约134M:

网路子系统相关的代码26M:

文件系统相关的代码37M:

linux内核核心代码大约6.8M:

这些目录任意一个目录想完全看明白都非常不容易。

内核源码获取

最新源码离线下载:

https://www.kernel.org

一个在线浏览的内核源码网站(可以浏览2.6.11~latest的源码): https://elixir.bootlin.com/linux/v5.16/source

三、内核子系统

什么是内核:

在计算机科学中是一个用来管理软件发出的数据I/O(输入与输出)要求的计算机程序,将这些要求转译为数据处理的指令并交由中央处理器(CPU)及计算机中其他电子组件进行处理,是现代操作系统中最基本的部分。

它是为众多应用程序提供对计算机硬件的安全访问的一部分软件,这种访问是有限的,并由内核决定一个程序在什么时候对某部分硬件操作多长时间。

linux内核代码涉及知识点包括汇编指令、c语言、硬件组成原理、操作系统、数据结构和算法、各种外设总线、驱动、网络协议栈。

直接对硬件操作是非常复杂的。所以内核通常提供一种硬件抽象的方法,来完成这些操作。

通过进程间通信机制及系统调用,应用进程可间接控制所需的硬件资源(特别是处理器及IO设备)。

最上面是用户(或应用程序)空间。这是用户应用程序执行的地方。用户空间之下是内核空间,Linux 内核正是位于这里。

GNU C Library (glibc)也在这里。它提供了连接内核的系统调用接口,还提供了在用户空间应用程序和内核之间进行转换的机制。

内核和用户空间的应用程序使用的是不同的保护地址空间。

每个用户空间的进程都使用自己的虚拟地址空间,而内核则占用单独的地址空间。

Linux 内核可以进一步划分成 3 层。最上面是系统调用接口,它实现了一些基本的功能,例如 read 和 write。

系统调用接口之下是内核代码,可以更精确地定义为独立于体系结构的内核代码。这些代码是 Linux 所支持的所有处理器体系结构所通用的。

在这些代码之下是依赖于体系结构的代码,构成了通常称为 BSP(Board Support Package)的部分。这些代码用作给定体系结构的处理器和特定于平台的代码。

内核主要系统包括:SCI:系统调用接口PM:进程管理VFS:虚拟文件系统MM:内存管理Network Stack:内核协议栈Arch:体系架构DD:设备驱动

1 系统调用接口

SCI 层提供了某些机制执行从用户空间到内核的函数调用。这个接口依赖于体系结构,甚至在相同的处理器家族内也是如此。

SCI 实际上是一个非常有用的函数调用多路复用和多路分解服务。

在 ./linux/kernel 中您可以找到 SCI 的实现,并在 ./linux/arch 中找到依赖于体系结构的部分。

2 进程管理

进程管理的重点是进程的执行。

在内核中,这些进程称为线程,代表了单独的处理器虚拟化(线程代码、数据、堆栈和 CPU 寄存器)。

在用户空间,通常使用进程 这个术语,不过 Linux 实现并没有区分这两个概念(进程和线程)。

内核通过 SCI 提供了一个应用程序编程接口(API)来创建一个新进程(fork、exec 或 Portable Operating System Interface [POSIX] 函数),停止进程(kill、exit),并在它们之间进行通信和同步(signal 或者 POSIX 机制)。

3 内存管理

内核所管理的另外一个重要资源是内存。为了提高效率,如果由硬件管理虚拟内存,内存是按照所谓的内存页方式进行管理的(对于大部分体系结构来说都是 4KB)。

Linux 包括了管理可用内存的方式,以及物理和虚拟映射所使用的硬件机制。

4 虚拟文件系统

虚拟文件系统(VFS)是 Linux 内核中非常有用的一个方面,因为它为文件系统提供了一个通用的接口抽象。VFS 在 SCI 和内核所支持的文件系统之间提供了一个交换层。

在 VFS 上面,是对诸如 open、close、read 和 write 之类的函数的一个通用 API 抽象。在 VFS 下面是文件系统抽象,它定义了上层函数的实现方式。

它们是给定文件系统(超过 50 个)的插件。文件系统的源代码可以在 ./linux/fs 中找到。

文件系统层之下是缓冲区缓存,它为文件系统层提供了一个通用函数集(与具体文件系统无关)。

这个缓存层通过将数据保留一段时间(或者随即预先读取数据以便在需要是就可用)优化了对物理设备的访问。缓冲区缓存之下是设备驱动程序,它实现了特定物理设备的接口。

5 网络堆栈

网络堆栈在设计上遵循模拟协议本身的分层体系结构。

回想一下,Internet Protocol (IP) 是传输协议(通常称为传输控制协议或 TCP)下面的核心网络层协议。TCP 上面是 socket 层,它是通过 SCI 进行调用的。

socket 层是网络子系统的标准 API,它为各种网络协议提供了一个用户接口。

从原始帧访问到 IP 协议数据单元(PDU),再到 TCP 和 User Datagram Protocol (UDP),socket 层提供了一种标准化的方法来管理连接,并在各个终点之间移动数据。内核中网络源代码可以在 ./linux/net 中找到。

6 设备驱动程序

Linux 内核中有大量代码都在设备驱动程序中,它们能够运转特定的硬件设备。Linux 源码树提供了一个驱动程序子目录,这个目录又进一步划分为各种支持设备,例如 Bluetooth、I2C、serial 等。设备驱动程序的代码可以在 ./linux/drivers 中找到。

下面这个图形象的讲解了Linux内核都有哪些东西!

四、如何学习内核?

1. 学习主线

linux内核源码大而全,一个人,即使再聪明、再有精力,也不可能完全看完、看懂所有的linux内核源码。

主要从

  • 操作系统原理专题
  • 进程管理专题
  • 内存管理专题
  • 网络协议栈专题
  • 设备驱动专题
  • 内核组件专题
  • 文件系统专题
  • 内核项目实战专题
  • 等等。。。

全方面系统全面的讲解底层原理开发技术:

操作系统原理/汇编专题

进程管理专题

内存管理专题

网络协议栈专题

设备驱动专题

内核组件专题

文件系统专题

内核项目实战专题

Linux内核源码技术学习路线 视频教程代码资料​docs.qq.com/doc/DTkZRWXRFcWx1bWVx​docs.qq.com/doc/DTkZRWXRFcWx1bWVx​docs.qq.com/doc/DTkZRWXRFcWx1bWVx​docs.qq.com/doc/DTkZRWXRFcWx1bWVx

内核学习网站:

Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈-学习视频教程-腾讯课堂​ke.qq.com/course/4032547?flowToken=1040236​ke.qq.com/course/4032547?flowToken=1040236​ke.qq.com/course/4032547?flowToken=1040236​ke.qq.com/course/4032547?flowToken=1040236

适合于

  • Linux 内核优化、内存管理 ,内核开发岗位、定制化自己OS
  • 深入系统内核研究、网络安全逆向分析
  • 提升自己能力,为了更好做应用层开发提供核心依据
  • 跳槽面试大厂(腾讯、华为、中兴、中微、中芯等等)
  • 从事业务开发多年,对底层原理理解不够深入的在职工程师
  • 从事嵌入式方向开发,想转入内核开发的在职工程师
  • 从事Qt/MFC等桌面开发的,薪资多年涨幅不大的在职工程师
  • 从事非开发岗位(算法岗,运维岗,测试岗),想转内核开发岗位的在职工程师

沿着某一个主线,深入进去,在研究清楚这个主线的同时,向其他的主线扩展、渗透和学习。

此处之所以将驱动列为学习内核的入口,是因为内核为很多外设驱动实现了架构,比如I2C、SPI、UART、PCIE、字符设备、网络设备、块设备,我们可以从最基本的字符设备学起,学习如何编写一个简单的模块学习如何如何为一些简单的设备比如LED、KEY、ADC等编写驱动可以说驱动是我们学习内核最简单的入口,

由点到线、由线到面、由面到体,层层深入、不断精进,是学习linux内核源码的一个有效的方法。

2. 代码阅读工具

对于代码阅读方法从两个角度来介绍,一个方面是需要选择一个比较有效阅读代码的工具。

小编强烈推荐:source insight这款阅读代码神器!

也可以使用vscode或者vim ctags的组合。不过小编十几年的从业经验,99%以上的开发人员都选择SI阅读内核代码。代码并不是写给人看的,而是交给机器运行的。所以我们去理解别人的代码时,并不能像看小说一样去通篇的阅读代码,而应该是像研究化石一样去调查它,解密它。有时我们往往也需要把对方的一段代码亲手的实现一遍,然后自己举一反三看自己会怎么去实现它,才能真正的理解。

阅读工具和Linux内核源代码领取地址:Linux内核源码技术学习路线 视频教程代码资料

3. 学习的内核版本

有些人推荐先阅读一些低版本的内核,比如0.01版的,总代码量才1万行左右。

阅读这个代码大概一个月应该能比较清晰了。但是,改代码与现在的代码差异巨大,阅读后可以理解基本思想,但对理解现有代码的帮助不是特别明显。

3.10版本之后的内核都支持设备树!

所以小编建议是尽量选择3.10版本之后的代码阅读学习。

4. 学习Linux最重要的是培养自己写代码的能力和对Linux框架结构的了解

Linux内核中绝大部分代码都是由这个地球上顶尖的技术大牛所编写,这些代码的高内聚低耦合,其精准度,简洁度、质量都相当的高,每每看到一段高质量的代码,小编都会被那一行行枯燥的代码背后隐藏的设计思想所震撼,所折服!

0 人点赞