《Linux内核设计与实现》

《深入理解Linux内核》

《Linux内核完全注释》


《Linux内核源代码情景分析 》

Linux内核

一、Linux内核
Linux内核的源码树已经有超过20000个文件，超过600万行代码。这还是几年前的数据。
需要工具、根文件系统、Linux应用程序共同建立一个可用的系统。

1、内核版本
当前的Linux内核版本为2.6.28。版本命名规则如下：
VERSION = 2
PATCHLEVEL = 6
SUBLEVEL = 28
EXTRAVERSION = 
NAME = 
内核包含的文件：/include/linux/version.h

2、内核结构
Linux内核的布局、组织和结构
(1) 顶层源目录
顶层内核源目录包含下列子目录：
arch    crypto    Documentation    drivers    fs    include    init    ipc    kernel
lib    mm    net    scripts    security    sound    usr
这些子目录又包含几级带源码、makefiles和配置文件的子目录。至今为止，Linux内核源码树的最大分支为drivers子目录。drivers子目录包含Linux内核所支持的以太网卡、USB控制器、大量的硬件设备。
arch子目录是第二大分支，包含了对超过20种的处理器架构的支持。

顶层目录还包括顶层makefile、隐藏的配置文件、各种信息文件。
顶层内核源码树还包括两个重要的build target：System.map和vmlinux。

(2) 编译内核
Linux内核太大，分析内核是一项令人沮丧的任务。多线程、优先级（preemption）增加了分析的复杂度。实际上，即使是定位入口点，也是一项挑战。理解二进制映像的有效方法是检查其构建组件。

内核建立系统的输出产生几个普通文件（common files）以及特定架构的二进制模块。
普通文件与架构无关。System.map和vmlinux是其中的两个普通文件。

System.map在内核调试期间有用，它包含了易读的内核符号和各自的地址列表。
vmlinux是特定架构的可执行格式的ELF文件。它由每个架构的顶层内核makefile产生。

如果内核被编译，且带符号调试信息，那么内核会包含vmlinux映像。
尽管它是可执行的ELF文件，它还是不会直接引导。

以ARM XScale架构的Indel IXP425网络处理器为例，使用如下命令：
make ARCH=arm CROSS_COMPILE=xscale_be- ixp4xx_defconfig
此命令不建立内核，为XScale架构准备源码树，包括此架构和处理器的初始缺省配置。
CROSS_COMPILE=xscale_be-  让make强制使用XScale toolchain建立内核映像
ARCH=arm  让make强制使用内核源码树的arm分支

(3) 正确的内核——vmlinux
LD /arch/arm/boot/compressed/vmlinux
vmlinux文件是实际的正确内核。它是一个完全独立的、巨大的单个映像。在vmlinux二进制文件中，没有未解决的外部引用存在。

(4) 内核映像组件
vmlinux映像由几个二进制映像组合而成。
vmlinux映像组件的描述
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
组件                                   描述
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
arch/arm/kernel/head.o        指定的内核架构启动代码
init_task.o        内核所需的初始化线程和任务
init/built-in.o        主要的内核初始化代码
usr/built-in.o        内建的initramfs映像
arch/arm/kernel/built-in.o        指定架构的内核代码
arch/arm/mm/built-in.o        指定架构的内存管理代码
arch/arm/common/built-in.o        指定架构的类属（generic）代码
arch/arm/mach-ixp4xx/built-in.o        指定机器的代码，通常是初始化
arch/arm/nwfpe/built-in.o        指定架构的浮点仿真代码
kernel/built-in.o        内核自身的通用组件
mm/built-in.o        内存管理的通用组件代码
ipc/built-in.o        进程间通信，例如SysV IPC
security/built-in.o        Linux安全组件
lib/lib.a        各种帮助函数文档
arch/arm/lib/lib.a        指定架构的通用工具，随架构而变
lib/built-in.o        通用内核帮助函数
drivers/built-in.o        所有内建驱动器可载入模块
sound/built-in.o        声音驱动器
net/built-in.o        Linux网络
.tmp_kallsyms2.o        符号表
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

很少直接启动内核映像，内核映像一般是被压缩了的，bootloader负责解压映像。
Makefile和Kconfig文件驱使内核配置和建立过程。

二、内核建立系统
Linux内核配置和建立系统相当复杂。使用Kbuild来建立内核系统。
Linux 2.6内核使用Kbuild来编译内核模块。

Kbuild能够编译内核树目录内的内核模块，也能够编译内核树目录外的内核模块。
Kbuild文件倾向于"Makefile"这个名字，"Kbuild"也是可以用的。但如果"Makefile"和"Kbuild"同时出现的话，使用的将会是"Kbuild"文件。

1、Dot-config文件
Dot-config文件是用于建立Linux内核映像的配置“蓝图”。可编辑配置文件，命名为.config，定位在顶层源目录，驱使内核的建立。

make mrproper 命令会删除配置文件，且无任何提示。因为其目标是返回内核源码树为纯洁的、无配置的状态。它包括从源码树移除所有配置数据，即删除你的.config。
Linux的“.”+扩展名的文件是Linux的隐藏文件。

Linux 2.6 的.config 文件片段
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
...
# USB support
#
CONFIG_USB=m
# CONFIG_USB_DEBUG is not set


# Miscellaneous USB options
#
CONFIG_USB_DEVICEFS=y
# CONFIG_USB_BANDWIDTH is not set
# CONFIG_USB_DYNAMIC_MINORS is not set

# USB Host Controller Drivers
#
CONFIG_USB_EHCI_HCD=m
# CONFIG_USB_EHCI_SPLIT_ISO is not set
# CONFIG_USB_EHCI_ROOT_HUB_TT is not set
CONFIG_USB_OHCI_HCD=m
CONFIG_USB_UHCI_HCD=m
...
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
要理解.config文件，需要理解Linux内核的基本面。

Linux有庞大的结构，整个内核作为一单个静态链接可执行而编译。然而，还可能编译和“增量链接”源集到单个对象模块，动态插入到正在运行的内核。
一般的设备驱动经常采用此方法。在Linux中，这称为可载入模块，也称为设备驱动器。内核引导后，调用指定的应用程序，插入可载入的模块进正在运行的内核。

2、配置编辑器
早期的内核使用一个简单的命令行驱动脚本来配置内核——> 很笨拙
内核配置子系统使用了几个图形化的前端。新的Linux内核版本包括了10个配置目标。
概述如下，可从make help看到：
  －config    使用命令行程序更新当前配置
  －menuconfig    使用基于菜单的程序更新当前配置
  －xconfig    使用基于Qt的前端更新当前配置
  －gconfig    使用基于GTK的前端更新当前配置
  －oldconfig    以提供的.config更新当前配置
  －randconfig    用随机回答所有选项的新配置
  －defconfig    使用所有缺省选项的新配置
  －allmodconfig    选择模块的新配置
  －allyesconfig    所有选项均回答yes的新配置
  －allnoconfig    所有选项均回答no的新配置

使用make gconfig可显示GTK图形的配置编辑窗口。

大多数内核软件模块也要读.config配置文件。在建立过程期间，.config文件被放入一个C头文件，位于/include/linux目录下，名为：autoconf.h。
Linux的autoconf.h文件片段：
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
/*
 * USB support
 */
#define CONFIG_USB_MODULE 1
#undef CONFIG_USB_DEBUG

/*
 * Miscellaneous USB options
 */
#define CONFIG_USB_DEVICEFS 1
#undef CONFIG_USB_BANDWIDTH
#undef CONFIG_USB_DYNAMIC_MINORS

/*
 * USB Host Controller Drivers
 */
#define CONFIG_USB_EHCI_HCD_MODULE 1
#undef CONFIG_USB_EHCI_SPLIT_ISO
#undef CONFIG_USB_EHCI_ROOT_HUB_TT
#define CONFIG_USB_OHCI_HCD_MODULE 1
#define CONFIG_USB_UHCI_HCD_MODULE 1
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

学习linux内核，这个可不像学一门语言，c或者java一个月或者3月你就能精通掌握。学习linux内核是需要一步一步循序渐进，掌握正确的linux内核学习路线对学习至关重要，本篇文章就来分享学习linux内核的一些建议吧。

1. 了解操作系统基本概念。如果不会，可以学习《操作系统：设计与实现》Andrew S.Tanenbaum 写的那本。以MINIX为例子讲解操作系统的概念。非常推荐。

2. 有了操作系统的基本概念以后，可以了解Linux的机制了。推荐《Linux内核设计与实现》Robert Love 写的。这本书从概念上讲解了Linux有什么，他们是怎么运行的。这本书要反复认真看透。

3. 有了Linux内核的了解，还需要具体研究Linux内核源码。经典的就是《深入理解Linux内核》Daniel P. Bovet 写的。学习这本书的时候，要对着内核代码看着学。这本书学起来相当费力了，那么多多代码要研究。不过这本书如果学明白了，恭喜你，Linux内核你已经很熟悉了。

4. 如果要开发设备驱动，可以学习《linux设备驱动程序》O'Reilly出版社的。这本作为驱动的入门是很好的资料。另外还有一本《精通Linux 驱动程序开发》也是不错的教材，可以参考着看。学习驱动，免不了要学习一些硬件的协议和资料，研究哪个就找到相应的硬件文档，把硬件的工作原理搞明白。这些就不细说了。

5. 网络部分，学些Linux网络部分就学习《深入理解LINUX网络技术内幕》。这本书把Linux的网络部分讲的非常清晰透彻。但是通常不做这方面的工作研究，也不用研究这么深，毕竟现在相关职位较少。

6. 现在Linux相关的工作，多集中在一些嵌入式开发领域，arm，mips等，要学习以下这些体系架构的的资料，了解CPU的设计和工作方式。ARM就看对应的芯片手册，讲的很细致。MIPS就看 《see mips run》，有一二两版，两版内容有些差异，推荐都看。

7. 补充一点经验。不要认为Linux很庞大，很复杂，就觉的很难学。任何东西认真学下来都是能学会的，看你都恒心和毅力了。另外，不要走弯路，不要看市面上讲什么Linux0.11的那些书，直接学你要学的东西。就像学C语言看什么谭浩强一样，弯路走了，力气没少花，还严重影响学习效果。

关于linux内核学习路线，再多说几句应用编程，有时候经常会需要的：

1. 学习Linux应用编程，建议看《unix环境高级编程》，把里面的例子都做一遍，会对整个Linux编程有系统都认识。

2. 针对Linux，有本 《Linux系统编程》，学完上一本，这本很快看一遍就懂了。主要是针对Linux具体懂一些内容，讲的挺全了，很实用。

3. Linux网络编程，系统的学习一下《unix网络编程.卷1,套接字联网api》，基本上网络应用相关的程序就都没问题了。

这些内容，分几年时间，分步计划学习，就会成为Linux高手了

世界悲结束了，章鱼哥也退役了，连非诚勿扰中的拜金女也突然的少了很多。这本《Linux内核修炼之道》在卓越、当当、china-pub上也已经开卖了，虽然是严肃文学，但为了保证流畅性，大部分文字我还都是斟词灼句，反复的念几遍才写上去的，尽量考虑到写上去的每段话能够让读者产生什么疑惑，然后也都会紧接着尽量的去进行解释清楚，中间的很多概念也有反复纠结过怎么解释能够更容易的理解，力求即使对于初学者也可以有很少阻碍的一气读完。同时我也把书中一部分自己的感悟抽出来整理了精华版，share出来。当然水平有限，错漏之处有发现而修订时遗漏的，也有尚没有发现的。这本书如果对您有用，乃我之幸事，如果无用，就在此先诚惶诚恐的向大家拜个不是了。

在6月份做过一次《高效学习Linux内核》的presentation，下面是前面的一部分内容及讲义，或许对大家有用吧。至于剩余的，因为和之前博客中的部分文章内容差不多，就不贴了。

**********************************************************************

既然有高效，相对的就有低效。学习本身就是一件很玄乎的事情，有些人整天潇潇洒洒没见怎么用心就能够获得很好的成绩，而有些人则相反，即使投悬梁锥刺骨也还是成绩平平收获平平。这里面很大一部分的原因就是学习的方法。

但是学习方法这样的题目并不好讲，因为基于每个人不同的情况，并没有那样一个标准的方法存在，所以讲起来就很容易成为一场大忽悠。就像我们的任志强先生前阵子演讲卖房子 的方法时，就因为太像一场忽悠，从而被听众扔了鞋。

 



接下来我就通过自己的一些感悟，抛砖引玉来介绍一下如何比较高效的去学习 linux 内核。这些话并不局限于某个部分的内容，很像一句句的口号，我们也可以将它们看作内核学习的大字报。

首先是第一句话：把内核当朋友。今年笑来老师有本新书，叫把时间当朋友，告诉我们只有把时间当朋友，才能更好的利用自己的时间做些有益的事情。同样，我们只有把内核当朋友，把它放在对等的地位上，而不仅仅是一堆死气沉沉的代码，我们才能够更好的认识和理解到它的精髓。

然后是第二句话：先会使用它。意思就是我们在学习内核前首先要会用 linux ，依照一个由上至下循序渐进的过程，在能够熟练的使用 Linux 操作系统之后再去研究内核中的实现。这也是 linus 本人的观点。

第三句是依照四个层次进行内核学习。笛卡儿在 17 世纪的某一天，闲极无聊写了这么一本书，书名就叫《方法论》，在这本目前来说绝大部分人都不知道的书里将方法上升到了理论的高度。笛卡儿在他的这本书里将研究问题的方法归纳为简单的一句话，就是 “ 复杂问题要简单化 ” 。就是说要将复杂的问题分解为很多个简单的小问题，一个个的分开解决。这句话当然可以借鉴运用到内核的学习上，不过需要做些改动，不是分解为多个简单的小问题，而是将内核学习这么一件很复杂的事情划分为由低到高多个不同的层次，每一层次都有自己需要达到的目标和要求。这也是我自己认为比较好的认识学习内核的方法。

第四句是走出心理误区。 对于学习这种复杂的事情来说，无论是我们在学校的课堂学习，还是这里说的内核学习，它的效果好与坏，最主要取决于两个方面：一个是学习的方法，另一个就是学习时的心理。注意，在这儿我无视了智商的差异，智商这玩意儿太玄了，可以将它归于迷信的范畴。而我们在学习时经常会产生一系列的问题或者说误区，只有走出这些误区，在学习中养成一个坚强的心理，我们才能够真正的做到高效。

第五句是使用 vim+cscope+ctags 浏览内核源码。其实这句话更主要的意思是说我们需要一个好的工具去浏览内核的代码。在 windows 下面，我们或许可以很容易的找到很多比较好的 IDE 可以用来浏览代码，比如 source insight ，它可以很方便的在代码之间进行关联阅读。但是对于 Linux 新人来说，有没有一个功能类似的浏览代码的工具就成为一个很常见的问题。

第六句是使用 kernel 地图定位目标代码。应该说学习内核就是学习内核的源代码，但是内核代码千千万，又到处像个迷宫一样，不迷路都很难，又怎么去直面它？这时我们就需要这样的一幅内核地图来帮助我们去定位所要分析的目标代码，并缩小目标代码的范围与代码量。

接下来是第七句话：分析内核源码，态度决定一切。我们很多人或许有这样的困惑，也分析浏览了很多内核的源码，可总是觉得分析完浏览完脑子里还是空空的，并没有感觉到多大的收获。这个时候我们或许可以去看看是不是自己在分析代码时的态度出现了问题。我们在分析内核源码时，只有遵循严谨的态度，去理解每一段代码的实现，多问多想多记，而不是抱着走马观花，得过且过的态度，最终必然会有很大的收获。

最后一句是：以内核源码为中心，坚持学习资源建设。在我们内核学习的过程中，内核源码本身就是最好的参考资料，其他任何经典或非经典的书最多只是起到个辅助作用，不能也不应该取代内核代码在我们学习过程中的主导地位。但是这些辅助的作用也是不可忽视的，我们需要以内核源码为中心，坚持各种学习资源的长期建设不动摇。

除了这里的八句话，其他的可能会对大家有帮助的感悟或者方法还有很多 。


 



把内核当朋友，就是要把内核看成一个鲜活的生命体，而不是一堆死气沉沉的代码。

具体一点来说，我们在学习与浏览内核的实现时，可以将它看成是现实世界的映射。内核是由现实中的人写出来的，因此不管是有意还是无意，都会不可避免的包含了一些自己的现实感情，我们研究内核时可以体会下这种脉络，这种隐藏在代码背后的哲学。比如，我们可以认为内核是个大世界，一个个进程就是这个世界中的一个个生命体，进程管理和调度就是这个大世界中的权力机关，内存是进程的家，内核的目标就是要做到使每个进程都居者有其屋。

既然要把内核看成是一个鲜活的个体，那么我们认识它的第一件事就是了解它的一些基本信息，就像我们人与人之间互相认识首先也是通过个人的基本信息一样。

首先从名字开始， kernel 在字典中主要有两种定义，一种是 “ 软的，一个坚果可食用的部分 ” ，对 Linux kernel 来说，当然适用的是第二种定义： “ 某个东西的核心部分 ” 。所以从广义上来说， linux kernel 就是 linux 操作系统里最为核心的部分，而从狭义上来说，它不过就是 Linus 那群人人写的那点儿代码。

当然，这点儿代码是相当复杂的，单单从代码量上来说，早已经突破了千万级。从结构上来说，也早就不是一个人穷自己一己之力就能够全部理解的了。所以，现在强调第二句话：学内核切忌求大求全，选择一点研究的足够深入就很不容易了。

下面介绍介绍 kernel 的年龄， kernel 又不是一个怀春的少女，所以它的年龄并不需要保密，从 1991 年诞生开始，在去年刚刚举行了它自己的成人礼，进入了成熟发展期。

就像我们人有自己的青春期、中年期等一样， kernel 相应的也有很多不同的版本号，不过不同的是，我们的青春期一去就不复返了， kernel 不同的版本号却是共存的。

很多年以来，内核的版本都是以 X.Y.Z 这 3 个数字的形式分配的，中间的偶数 Y 代表稳定版，奇数 Y 代表了不稳定的开发版。所谓的稳定版本是指内核的特性都已经固定，代码运行稳定可靠，不会再增加新的特性，要改进也只是修改代码中的错误。而不稳定版本是指相对于上一个稳定版本增加了新的特性，还处于发展之中，代码的运行不大可靠。

对于目前来说， 2.6 内核的发布已经持续了很长时间，那么什么时候将会推出 2.7 ？ Linus 本人的回答是，不会有 2.7 ，他不会再遵循旧的模式，新采用的模式会更好，不值得重复过去。他表示正在考虑新的编号方式，一种基于时间的版本号。比如用 2008.7 取代 2.6.26 ，中间第二个数字代表年， 2008 年就是 2.8 ， 2009 年的第一个版本就是 2.9.1 ，之后 2010 年是 3.0 ，等等。

最后不得不提到是那些眼花缭乱的发行版，内核与发行版的关系就类似那种双生花，彼此互相依赖互相扶持共同成长。没有那些发行版，内核就只能是束之高阁的一个貌似好看的玩具，并不能真正的走进我们的工作生活，而没有内核，那些发行版就缺少了存在的地基，就只能是个豆腐渣工程。


 



现在我们了解了内核这个朋友的外表，这个时候我们不能像非诚勿扰中的那些拜金女一样只关心外在的信息，我们还要接着了解内核的内涵，也就是内核的体系结构以及内核是如何工作的。

首先看第一张图，它向我们传递了这样的信息 —— 内核将应用程序和硬件分离开来。内核一方面负责与计算机硬件进行交互，实现对硬件的控制，调度对硬件资源的访问，另一方面为用户应用程序提供一个高级的执行环境和访问硬件的虚拟接口。

提供硬件的兼容性是内核的设计目标之一，几乎所有的硬件，只要不是为其他操作系统所定制的，都可以得到 Linux 的支持。

与硬件兼容性相关的是可移植性，也就是在不同的硬件平台上运行 Linux 的能力。从最初只支持标准 IBM 兼容机上的 Intel X86 架构到现在可以支持 ARM 、 MIPS 、 PowerPC 等几乎所有硬件平台，如此广泛的平台支持之所以能够成功，部分原因在于，内核清晰地划分为了体系相关部分和体系无关部分。因此也就有了第二张图。

体系无关部分通常会定义与体系相关部分的接口，这样，内核向新的体系结构移植的过程就变成确认这些接口的特性并将它们加以实现的过程。

同时，用户应用程序和内核之间的联系，一般是通过它和内核的中间层 —— 标准 C 库来实现，而标准 C 库函数本身，则是建立在内核提供的系统调用基础之上。通过标准 C 库，以及内核体系无关部分与体系相关部分的接口，用户应用程序和部分内核都成为可移植的。

因此更为准确的是第三张图。其中，进程管理部分实现了一个进程世界的抽象，这个进程世界类似于我们的人类世界，只不过我们的世界里的个体是人，而在进程世界里则是一个一个的进程，我们人与人之间通过书信、手机、网络等交通往来，而各个进程之间则是通过不同方式的进程间通信，我们所有人都在分享同一个地球，而所有进程都在分享一个或多个 CPU 。

在这个进程的世界里，内存是重要的资源之一，就好似我们的土地。因此，管理内存的策略与方式，也就是内存管理是决定系统性能的一个关键因素。


 



了解了内核的体系结构，我们再来看看内核是如何工作的。

首先，内核通过系统调用来使得运行在它上面的应用程序可用。系统调用是内核和应用程序之间的桥梁，比如图中的针对文件操作的 open() ， close() ， read() ， write() ，针对进程操作的 fork() ， wait() ，还有针对网络操作的 socket() 等等，它们提供了对硬件的抽象，所以有时也被称为 linux 虚拟机。

内核提供的最接近实际用户的明显抽象是文件系统，我们很容易能够利用 open() 等几个系统调用编写一段程序打开一个文件并将它的内容拷贝到标准输出。内核通过这些系统调用为用户提供了一个文件的 " 错觉 " ，而实际上它不过是一堆数据有了个名字，这样一来就不必去与硬件底层的堆栈、分区和指针等交涉，这也就是我们经常所说的抽象 (abstraction) ，将底层的东西以更易懂的方式表达出来。

文件系统是内核提供的比较明显的一种抽象，我们可以说它是位于台前的，而相对还有一些是位于幕后的，比如进程调度。在 linux 上，任何 一个时间，都可能有好几个进程或者程序等待着运行。内核的时间调度给每个进程分配 CPU 时间，所以就一段时间内来说，我们会有种错觉：电脑同一时间运行好几个程序。

再比如另外一个位于幕后的内存管理，幕后到应用开发者都不易察觉的地步。每个程序运行得都好像它有个自己的地址空间来调用一样，实际上它跟其他进程一样共享计算机的物理存储。内存管理的另外一个方面是防止一个进程访问其他进程的地址空间 —— 对于多进程操作系统来说这是很必要的一个防范措施。

当然位于台前幕后的还有其他的角色，比如网络等。

我们现在再来简单看下它的物理组成。早期版本的内核是整体式的，也就是说所有的部分都静态地连接成一个很大的执行文件。


喜欢的话，欢迎扫码关注：）