存储管理的四大基本功能

1、内存分配与回收

当有作业进入系统时，存储管理模块就会根据当前内存情况来分配内存给它；当作业完成后，就会回收作业占用的内存，将这部分内存设置为可分配状态。

分配方式主要有两种：

静态分配：作业在运行之前，已经明确所需内存的大小，并且一次性分配；作业在运行的时候，不可以重新申请或移动内存。

动态分配：作业在运行期间，可以根据需要动态申请内存。比静态分配灵活，并且能够提高内存的利用率，避免因静态分配导致不必要的信息加载到内存中。

2、地址重定位

实现程序的逻辑地址和物理地址转换，并根据物理地址重定位到物理空间。

程序中，基本都是用符号名来访问存储单元的。而符号名存储的是逻辑地址，而逻辑地址可以转化为物理地址，最后可以通过物理地址直接定位存储单元。

其中重定位一共有两种方式：

3、存储保护

存储保护是为了防止程序越界访问、破坏其他程序或系统的存储区。较为普遍的存储保护方法是：硬件的界限存储器保护法，并且还分为两种实现方法。

4、虚拟存储

程序的局部性分为：时间和空间的局部性。

时间局部性：某条指令被执行，那么在不久的将来也会被再次执行。

空间局部性：一旦程序访问某个存储单元的数据，那么不久的将来，这个存储单元附近的存储单元也可能会被访问。

由于程序的局部性原理，很多数据没有必要全部加载到内存。因此就将那些不必要的数据暂存在外存中，等到需要的时候再调入到内存中。这部分外存就充当虚拟内存，也叫虚拟存储。

3.1 内存的基础知识

3.1.1 什么是内存，有何作用

1. 内存：用于存放数据的硬件。程序执行前需要先放到内存中才能被CPU处理。
2. 存储单元
   1. 内存地址从0开始,每个地址对应个存储单元
   2. 内存中也有一个一个的“小房间”，每个小房间就是一个“存储单元”
   3. 如果计算机“按字节编址”则每个存储单元大小为1字节，即1B，即8个二进制位
   4. 如果字长为16位的计算机“按字编址”，则每个存储单元大小为1个字；每个字的大小为16个二进制位
   5. 一台手机/电脑有4GB内存，是什么意思?
      1. 是指该内存中可以存放4*230个字节。如果是按字节编址的话，也就是有4*230 = 232个“小房间”
3. 内存地址

3.1.2 进程运行的基本原理

1. 指令的工作原理
   1. 我们写的代码要翻译成CPU能识别的指令。这些指令会告诉CPU应该去内存的哪个地址存/取数据，这个数据应该做什么样的处理。在这个例子中，指令中直接给出了变量x的实际存放地址（物理地址)。但实际在生成机器指令的时候并不知道该进程的数据会被放到什么位置。所以编译生成的指令中一般是使用逻辑地址（相对地址)
2. 逻辑地址VS物理地址
   1. 指令中的地址也可以采用这种思想。编译时产生的指令只关心“相对地址”，实际放入内存中时再想办法根据起始位置得到“绝对地址”。
   2. Eg：编译时只需确定变量x存放的相对地址是100（也就是说相对于进程在内存中的起始地址而言的地址）。CPU想要找到x在内存中的实际存放位置，只需要用进程的起始地址+100即可。
   3. 相对地址又称逻辑地址，绝对地址又称物理地址。
3. 从写程序到程序运行：编辑--编译--链接--装入
   1. 编译:由编译程序将用户源代码编译成若干个目标模块（编译就是把高级语言翻译为机器语言)
   2. 链接:由链接程序将编译后形成的一组目标模块，以及所需库函数链接在起，形成一个完整的装入模块
   3. 装入（装载）:由装入程序将装入模块装入内存运行
   4. 

    

4. 三种链接方式
   1. 静态链接：在程序运行之前，先将各目标模块及它们所需的库函数连接成一个完整的可执行文件（装入模块）,之后不再拆开。
   2. 装入时动态链接：将各目标模块装入内存时，边装入边链接的链接方式。
   3. 运行时动态链接：在程序执行中需要该目标模块时，才对它进行链接。其优点是便于修改和更新，便于实现对目标模块的共享。
5. 三种装入方式
   1. 绝对装入---（只适用于单道程序环境）
      1. 绝对装入:在编译时，如果知道程序将放到内存中的哪个位置，编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址，将程序和数据装入内存。
   2. 静态重定位---（早期的多道批处理系统）
      1. 静态重定位:又称可重定位装入。编译、链接后的装入模块的地址都是从0开始的，指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况，将装入模块装入到内存的适当位置。装入时对地址进行“重定位”，将逻辑地址变换为物理地址（地址变换是在装入时一次完成的）。
   3. 动态重定位----（现代操作系统）
      1. 动态重定位:又称动态运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后，并不会立即把逻辑地址转换为物理地址，而是把地址转换推迟到程序真正要执行时才进行。因此装入内存后所有的地址依然是逻辑地址。这种方式需要一个重定位寄存器的支持。（允许程序在内存中移动）

3.2 内存管理的概念

操作系统作为系统资源的管理者，当然也需要对内存进行管理，要管些什么呢?

操作系统要怎么记录哪些内存区域已经被分配出去了,哪些又还空闲?

当进程运行结束之后，如何将进程占用的内存空间回收?

很多位置都可以放,那应该放在哪里?

1. 内存空间的分配与回收
   1. 连续分配管理方式
      1. 单一连续分配
      2. 固定连续分配
         1. 分区大小相等
         2. 分区大小不等
      3. 动态分区分配
   2. 非连续分配管理方式
      1. 基于分页存储管理
      2. 基于分段存储管理
      3. 段页式存储管理
2. 内存空间的扩充
   1. 覆盖技术
   2. 交换技术
   3. 虚拟存储技术
3. 地址转换
   1. 操作系统负责实现逻辑地址到物理地址的转换
   2. 三种方式：
      1. 绝对装入
      2. 可重定位装入
      3. 动态运行时装入
4. 存储保护
   1. 各个进程只能访问自己进程对应的内存空间，而不能访问操作系统或其他进程的内存空间。
   2. 保证各进程在自己的内存空间运行，不能越界访问。
   3. 方法一：在CPU中设置一对上、下限寄存器，存放进程的上、下限地址。进程的指令要访问某个地址时，CPU检查是否越界。
   4. 方法二：采用重定位寄存器（又称基址寄存器）和界地址寄存器(又称限长寄存器）进行越界检查。重定位寄存器中存放的是进程的起始物理地址。界地址寄存器中存放的是进程的最大逻辑地址。

3.3 覆盖与交换

3.3.1覆盖技术

1. 早期的计算机内存很小，比如 IBM推出的第一台PC机最大只支持1MB大小的内存。因此经常会出现内存大小不够的情况。
2. 后来人们引入了覆盖技术，用来解决“程序大小超过物理内存总和”的问题
3. 覆盖技术的思想:将程序分为多个段（多个模块)。常用的段常驻内存，不常用的段在需要时调入内存。
4. 内存中分为一个“固定区”和若干个“覆盖区”。
5. 需要常驻内存的段放在“固定区”中，调入后就不再调出(除非运行结束)
6. 不常用的段放在“覆盖区”，需要用到时调入内存，用不到时调出内存
7. 必须由程序员声明覆盖结构，操柞系统完成自动覆盖。缺点：对用户不透明，增加了用户编程负担。

3.3.2交换技术

1. 交换（对换）技术的设计思想：内存空间紧张时，系统将内存中某些进程暂时换出外存，把外存中某些已具备运行条件的进程换入内存（进程在内存与磁盘间动态调度)
2. 具有对换功能的操作系统中，通常把磁盘空间分为文件区和对换区两部分。
   1. 文件区主要用于存放文件，主要追求存储空间的利用率，因此对文件区空间的管理采用离散分配方式；
   2. 对换区空间只占磁盘空间的小部分，被换出的进程数据就存放在对换区。由于对换的速度直接影响到系统的整体速度，因此对换空间的管理主要追求换入换出速度，因此通常对换区采用连续分配方式（学过文件管理章节后即可理解）。总之，对换区的I/O速度比文件区的更快。
3. 交换通常在许多进程运行且内存吃紧时进行，而系统负荷降低就暂停。例如：在发现许多进程运行时经常发生缺页，就说明内存紧张，此时可以换出一些进程;如果缺页率明显下降，就可以暂停换出。
4. 可优先换出阻塞进程；可换出优先级低的进程；为了防止优先级低的进程在被调入内存后根快又被换出，有的系统还会考虑进程在内存的驻留时间..

3.3.3 覆盖技术与交换技术的区别

1. 覆盖是在同一个程序或进程中的
2. 交换是在不同进程(或作业)之间的

3.4 连续分配管理方式

1. 连续分配管理方式 -- 用户进程分配的必须是一个连续的内存空间
   1. 单一连续分配
      1. 在单一连续分配方式中，内存被分为系统区和用户区。系统区通常位于内存的低地址部分，用于存放操作系统相关数据；用户区用于存放用户进程相关数据。
      2. 内存中只能有一道用户程序，用户程序独占整个用户区空间。
      3. 优点：实现简单；无外部碎片；可以采用覆盖技术扩充内存;不一定需要采取内存保护（eg:早期的PC操作系统MS-Dos) 。
      4. 缺点：只能用于单用户、单任务的操作系统中;有内部碎片;存储器利用率极低。
   2. 固定连续分配（无外部碎片，有内部碎片）
      1. 20世纪60年代出现了支持多道程序的系统，为了能在内存中装入多道程序，且这些程序之间又不会相互干扰，于是将整个用户空间划分为若干个固定大小的分区，在每个分区中只装入一道作业，这样就形成了最早的、最简单的一种可运行多道程序的内存管理方式。
      2. 操作系统需要建立一个数据结构―一分区说明表，来实现各个分区的分配与回收。每个表项对应一个分区，通常按分区大小排列。每个表项包括对应分区的大小、起始地址、状态（是否已分配）。
      3. 分区大小相等
         1. 分区大小相等:缺乏灵活性，但是很适合用于用一台计算机控制多个相同对象的场合（比如:钢铁厂有n个相同的炼钢炉，就可把内存分为n个大小相等的区域存放n个炼钢炉控制程序)
      4. 分区大小不等
         1. 分区大小不等:增加了灵活性，可以满足不同大小的进程需求。根据常在系统中运行的作业大小情况进行划分(比如:划分多个小分区、适量中等分区、少量大分区)
   3. 动态分区分配（有外部碎片，无内部碎片）
      1. 动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区，而是在进程装入内存时，根据进程的大小动态地建立分区，并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。（eg:假设某计算机内存大小为64MB，系统区8MB，用户区共56 MB.….)
      2. 动态内存分配的内部碎片与外部碎片
         1. 内部碎片，分配给某进程的内存区域中，如果有些部分没有用上。
         2. 外部碎片，是指内存中的某些空闲分区由于太小而难以利用。
      3. 系统要用什么样的数据结构记录内存的使用情况?
         1. 空闲分区表
            1. 每个空闲分区对应一个表项。表项中包含分区号、分区大小、分区起始地址和状态等信息
         2. 空闲分区链
            1. 每个分区的起始部分和末尾部分分别设置前向指针和后向指针。起始部分处还可记录分区大小等信息
      4. 当很多个空闲分区都能满足需求时，应该选择哪个分区进行分配?
         1. 动态分区分配算法：
            1. 从空闲分区表（或空闲分区链）中选出一个分区分配给该作业。由于分配算法算法对系统性能有很大的影响，因此人们对它进行了广泛的研究。
      5. 如何进行分区的分配与回收操作?
         1. 第一个情况：重写内存分区表/链
         2. 第二种情况：删除内存分区表/链
      6. 如何进行分区的分配与回收操作?
         1. 修改内存分区表
         2. 合并内存分区表
2. 非连续分配管理方式

3.5 动态分区分配算法

1. 首次适应算法（First Fit）
   1. 算法思想：每次都从低地址开始查找，找到第一个能满足大小的空闲分区。
   2. 如何实现：空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链（或空闲分区表），找到大小能满足要求的第一个空闲分区。
2. 最佳适应算法（Best Fit）
   1. 算法思想：由于动态分区分配是一种连续分配方式，为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间，可以尽可能多地留下大片的空闲区，即，优先使用更小的空闲区。
   2. 如何实现：空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链（或空闲分区表），找到大小能满足要求的第一个空闲分区。
3. 最坏适应算法（Worst Fit）
   1. 算法思想：为了解决最佳适应算法的问题――即留下太多难以利用的小碎片可以在每次分配时优先使用最大的连续空闲区，这样分配后剩余的空闲区就不会太小，更方便使用。
   2. 如何实现：空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链（或空闲分区表），找到大小能满足要求的第一个空闲分区。
4. 邻近适应算法（Next Fit）
   1. 算法思想：首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区，而每次分配查找时，都要经过这些分区，因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索，就能解决上述问题。
   2. 如何实现：空闲分区以地址递增的顺序排列（可排成一个循环链表）。每次分配内存时从上次查找结束的位置开始查找空闲分区链（或空闲分区表)，找到大小能满足要求的第一个空闲分区。
5. 

3.6 基本分页存储管理的基本概念

1. 将内存空间分为一个个大小相等的分区（比如：每个分区4KB)，每个分区就是一个“页框”，或称“页帧”、“内存块”、“物理块”。每个页框有一个编号，即“页框号”(或者“内存块号”、“页帧号”、“物理块号”)页框号从0开始。
2. 将用户进程的地址空间也分为与页框大小相等的一个个区域，称为“页”或“页面”。每个页面也有一个编号，即“页号”，页号也是从0开始。
3. (注：进程的最后一个页面可能没有一个页框那么大。因此，页框不能太大，否则可能产生过大的内部碎片)
4. 操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说，进程的页面与内存的页框有一一对应的关系。
5. 各个页面不必连续存放，也不必按先后顺序来，可以放到不相邻的各个页框中。
6. 
7. 计算步骤：
   1. 要算出逻辑地址对应的页号（页号 = 逻辑地址 / 页面长度 ）取整
   2. 要知道该页号对应页面在内存中的起始地址
   3. 要算出逻辑地址在页面内的“偏移量”（页内偏移量 = 逻辑地址 % 页面长度）取余
   4. 物理地址 = 页面地址 + 页内偏移量
8. 页表
   1. 为了能知道进程的每个页面在内存中存放的位置，操作系统要为每个进程建立一张页表。
   2. 一个进程对应一张页表
   3. 进程的每一页对应一个页表项
   4. 每个页表项由“页号”和“块号”组成
   5. 页表记录进程页面和实际存放的内存块之间的对应关系
   6. 每个页表项的长度是相同的，页号是“隐含”的
   7. 

    

3.7 基本地址变换机构

1. 用于实现逻辑地址到物理地址转换的一组硬件机构
2. 通常会在系统中设置一个页表寄存器（PTR)，存放页表在内存中的起始地址F和页表长度M。进程未执行时，页表的始址和页表长度放在进程控制块（PCB）中，当进程被调度时，操作系统内核会把它们放到页表寄存器中。
3. 设页面大小为L，逻辑地址A到物理地址E的变换过程如下:
   1. 计算页号Р和页内偏移量w（如果用十进制数手算，则P=A/L，W=A%L；但是在计算机实际运行时，逻辑地址结构是固定不变的，因此计算机硬件可以更快地得到二进制表示的页号、页内偏移量)
   2. 比较页号P和页表长度M，若P>M，则产生越界中断，否则继续执行。(注意：页号是从O开始的，而页表长度至少是1，因此P=M时也会越界)
   3. 页表中页号p对应的页表项地址=页表起始地址F+页号p*页表项长度，取出该页表项内容b，即为内存块号。（注意区分页表项长度、页表长度、页面大小的区别。页表长度指的是这个页表中总共有几个页表项，即总共有几个页;页表项长度指的是每个页表项占多大的存储空间;页面大小指的是一个页面占多大的存储空间)
   4. 

    

3.8 具有快表的地址变换机构

1. 局部性原理
2. 什么是快表（TLB）
3. 引入快表后，地址的变换过程

操作系统的存储管理功能分为四个部分

• 地址映射
• 虚拟储存
• 内存分配
• 储存保护

一：地址映射

1. 固定地址映射

在编程或编译确定逻辑地址和物理地址的映射关系
特点：程序加载时必须放在指定的内存区域
容易产生地址冲突，运行失败

2. 静态地址映射

程序装入时由操作系统完成逻辑地址到物理地址的映射
MA = VA + BA
特点：程序运行之前确定映射关系，装入后不能移动，占用连续的内存空间

3. 动态地址映射

在程序执行过程中把逻辑地址转换为物理地址
MA = VA + BA
特点：程序占用的内存空间可动态变化，不要求连续的内存空间，便于多个进程共享代码，缺点是硬件支持（MMU），软件复杂

二：虚拟存储

借助辅存在逻辑上扩充内存，解决内存不足的问题
过程：

• 迁入：将要运行的部分装入内存
• 迁出：把不运行的部分暂时放在辅存
  前提
  短时间内进程不运行的部分往往占大部分

程序局部性原理
时间局部性
空间局部性

实现虚拟存储的前提：
足够的辅存
适当容量的内存
地址变换机构

三：内存分配

为程序分配足够的内存空间

1. Windows虚拟地址空间分配

在32位的机器上，地址空间从0x00000000~ 0xFFFFFFFF,总大小为4GB。一般而言，低地址空间，从0x00000000~ 0x7FFFFFFF使用户空间，高地址空间被分配给系统。

总体:

用户低2GB空间分配:

核心高2GB空间分配:

2. Linux虚拟地址空间分配

在 Linux 操作系统中，虚拟地址空间的内部又被分为内核空间和用户空间两部分，不同位数的系统，地址空间的范围也不同。比如最常见的 32 位和 64 位系统，如下所示：

用户空间与内存空间

通过这里可以看出：

• 32 位系统的内核空间占用 1G，位于最高处，剩下的 3G 是用户空间；
• 64 位系统的内核空间和用户空间都是 128T，分别占据整个内存空间的最高和最低处，剩下的中间部分是未定义的。

再来说说，内核空间与用户空间的区别：

• 进程在用户态时，只能访问用户空间内存；
• 只有进入内核态后，才可以访问内核空间的内存；

虽然每个进程都各自有独立的虚拟内存，但是每个虚拟内存中的内核地址，其实关联的都是相同的物理内存。这样，进程切换到内核态后，就可以很方便地访问内核空间内存。
Linux进程在内存中的详细存储方式：

通过这张图你可以看到，用户空间内存，从低到高分别是 7 种不同的内存段：

• 程序文件段，包括二进制可执行代码；
• 已初始化数据段，包括静态常量；
• 未初始化数据段，包括未初始化的静态变量；
• 堆段，包括动态分配的内存，从低地址开始向上增长；
• 共享库内存映射段，包括动态库、共享内存等，从低地址开始向上增长（跟硬件和内核版本有关）；
• 栈段，包括局部变量和函数调用的上下文等。栈的大小是固定的，一般是 8 MB。当然系统也提供了参数，以便我们自定义大小；

在这 7 个内存段中，堆和享库内存映射段的内存是动态分配的。比如说，使用 C 标准库的 malloc() 或者 mmap() ，就可以分别在堆和文件映射段动态分配内存。

内存管理

每个进程都拥有自己的4G(32位机)虚拟内存地址，各个进程之间是相互独立的，每个进程的数据可由其中线程共享。虚拟内存地址本身不对应任何物理地址，直接引用会引发错误，虚拟内存地址必须映射物理地址后才能储存数据。内存分配其实指的是虚拟内存地址映射物理内存，内存回收就是指解除映射关系。

四：储存保护

保证在内存中的多道程序只能在给定的储存区域内活动并互不干扰

1. 防止访问越界
2. 防止访问越权

方法：界址寄存器
在CPU中设置一对下限寄存器和上限寄存器存放程序在内存中的下限地址和上限地址
程序访问内存时硬件自动将目的地址与下限寄存器和上限寄存器中存放的地址界限进行比较，判断是否越界

关于计算机硬件存储系统详细见计算机存储系统