内存管理_内存管理实现 - CSDN
内存管理 订阅
内存管理是指软件运行时对计算机内存资源的分配和使用的技术。其最主要的目的是如何高效,快速的分配,并且在适当的时候释放和回收内存资源。一个执行中的程式,譬如网页浏览器在个人电脑或是图灵机(Turing machine)里面,为一个行程将资料转换于真实世界及电脑内存之间,然后将资料存于电脑内存内部(在计算机科学,一个程式是一群指令的集合,一个行程是电脑在执行中的程式)。一个程式结构由以下两部分而成:“本文区段”,也就是指令存放,提供CPU使用及执行; “资料区段”,储存程式内部本身设定的资料,例如常数字串。 展开全文
内存管理是指软件运行时对计算机内存资源的分配和使用的技术。其最主要的目的是如何高效,快速的分配,并且在适当的时候释放和回收内存资源。一个执行中的程式,譬如网页浏览器在个人电脑或是图灵机(Turing machine)里面,为一个行程将资料转换于真实世界及电脑内存之间,然后将资料存于电脑内存内部(在计算机科学,一个程式是一群指令的集合,一个行程是电脑在执行中的程式)。一个程式结构由以下两部分而成:“本文区段”,也就是指令存放,提供CPU使用及执行; “资料区段”,储存程式内部本身设定的资料,例如常数字串。
信息
概    念
是指软件运行时对计
作用 
高效,快
媒    介
磁带或是磁盘
中文名
内存管理
学    科
计算机
外文名
memory management
内存管理技术简介
内存可以通过许多媒介实现,例如磁带或是磁盘,或是小阵列容量的微芯片。 从1950年代开始,计算机变的更复杂,它内部由许多种类的内存组成。内存管理的任务也变的更加复杂,甚至必须在一台机器同时执行多个进程。虚拟内存是内存管理技术的一个极其实用的创新。它是一段程序(由操作系统调度),持续监控着所有物理内存中的代码段、数据段,并保证他们在运行中的效率以及可靠性,对于每个用户层(user-level)的进程分配一段虚拟内存空间。当进程建立时,不需要在物理内存件之间搬移数据,数据储存于磁盘内的虚拟内存空间,也不需要为该进程去配置主内存空间,只有当该进程被被调用的时候才会被加载到主内存。可以想像一个很大的程序,当他执行时被操作系统调用,其运行需要的内存数据都被存到磁盘内的虚拟内存,只有需要用到的部分才被加载到主内存内部运行。 [1] 
收起全文
精华内容
参与话题
  • 操作系统内存管理(思维导图详解)

    万次阅读 多人点赞 2020-06-16 22:50:35
    在介绍内存管理的细节前,先要了解一下分层存储器体系: 大部分的计算机都有一个存储器层次结构,即少量的非常快速、昂贵、易变的高速缓存(cache);若干兆字节的中等速度、中等价格、易变的主存储器(RAM);...

    操作系统内存管理:总的来说,操作系统内存管理包括物理内存管理和虚拟内存管理。

    物理内存管理:

           包括程序装入等概念、交换技术、连续分配管理方式和非连续分配管理方式(分页、分段、段页式)。

    虚拟内存管理:
          虚拟内存管理包括虚拟内存概念、请求分页管理方式、页面置换算法、页面分配策略、工作集和抖动。

          这个系列主要使用linux内存管理来具体说明:linux内存管理

     

    一、 计算机的存储体系


    内存是计算机很重要的一个资源,因为程序只有被加载到内存中才可以运行;此外,CPU所需要的指令与数据也都是来自内存的。可以说,内存是影响计算机性能的一个很重要的因素。

    分层存储器体系

    在介绍内存管理的细节前,先要了解一下分层存储器体系:

    大部分的计算机都有一个存储器层次结构,即少量的非常快速、昂贵、易变的高速缓存(cache);若干兆字节的中等速度、中等价格、易变的主存储器(RAM);数百兆或数千兆的低速、廉价、不易变的磁盘。这些资源的合理使用与否直接关系着系统的效率。

    CPU缓存(Cache Memory):是位于CPU与内存之间的临时存储器,它的容量比内存小的多但是交换速度却比内存要快得多。缓存的出现主要是为了解决CPU运算速度与内存 读写速度不匹配的矛盾,因为CPU运算速度要比内存读写速度快很多,这样会使CPU花费很长时间等待数据到来或把数据写入内存。

    计算机是一种数据处理设备,它由CPU和内存以及外部设备组成。CPU负责数据处理,内存负责存储,外部设备负责数据的输入和输出,它们之间通过总线连接在一起。CPU内部主要由控制器、运算器和寄存器组成。控制器负责指令的读取和调度,运算器负责指令的运算执行,寄存器负责数据的存储,它们之间通过CPU内的总线连接在一起。每个外部设备(例如:显示器、硬盘、键盘、鼠标、网卡等等)则是由外设控制器、I/O端口、和输入输出硬件组成。外设控制器负责设备的控制和操作,I/O端口负责数据的临时存储,输入输出硬件则负责具体的输入输出,它们间也通过外部设备内的总线连接在一起。

    上面计算机系统结构图中我们可以看出硬件系统的这种组件化的设计思路总是贯彻到各个环节。

     在这套设计思想(冯.诺依曼体系架构)里面:  总是有一部分负责控制、一部分负责执行、一部分则负责存储,它之间进行交互以及接口通信则总是通过总线来完成。这种设计思路一样的可以应用在我们的软件设计体系里面:组件和组件之间通信通过事件的方式来进行解耦处理,而一个组件内部同样也需要明确好各个部分的职责(一部分负责调度控制、一部分负责执行实现、一部分负责数据存储)。

     

    计算存储的层次结构

    当前技术没有能够提供这样的存储器,因此大部分的计算机都有一个存储器层次结构:

    高速缓存(cache): 少量的非常快速、昂贵、易变的高速缓存(cache);

    主存储器(RAM): 若干兆字节的中等速度、中等价格、易变的主存储器(RAM);

    磁盘:  数百兆或数千兆的低速、廉价、不易变的磁盘。

    这些资源的合理使用与否直接关系着系统的效率。

     

    二、内存使用演化


    1、没有内存抽象的年代

    在早些的操作系统中,并没有引入内存抽象的概念。程序直接访问和操作的都是物理内存,内存的管理也非常简单,除去操作系统所用的内存之外,全部给用户程序使用,想怎么折腾都行,只要别超出最大的容量。比如当执行如下指令时:mov reg1,1000

    1、无内存抽象存在的问题:

    这条指令会毫无想象力的将物理地址1000中的内容赋值给寄存器。不难想象,这种内存操作方式使得操作系统中存在多进程变得完全不可能,比如MS-DOS,你必须执行完一条指令后才能接着执行下一条。如果是多进程的话,由于直接操作物理内存地址,当一个进程给内存地址1000赋值后,另一个进程也同样给内存地址赋值,那么第二个进程对内存的赋值会覆盖第一个进程所赋的值,这回造成两条进程同时崩溃。

    带来两个问题:

    1. 用户程序可以访问任意内存,容易破坏操作系统,造成崩溃

    2. 同时运行多个程序特别困难

    随着计算机技术发展,要求操作系统支持多进程的需求,所谓多进程,并不需要同时运行这些进程,只要它们都处于 ready 状态,操作系统快速地在它们之间切换,就能达到同时运行的假象。每个进程都需要内存,Context Switch 时,之前内存里的内容怎么办?简单粗暴的方式就是先 dump 到磁盘上,然后再从磁盘上 restore 之前 dump 的内容(如果有的话),但效果并不好,太慢了!

    2、内存抽象:地址空间

    那怎么才能不慢呢?把进程对应的内存依旧留在物理内存中,需要的时候就切换到特定的区域。这就涉及到了内存的保护机制,毕竟进程之间可以随意读取、写入内容就乱套了,非常不安全。因此操作系统需要对物理内存做一层抽象,也就是「地址空间」(Address Space),一个进程的地址空间包含了该进程所有相关内存,比如 code / stack / heap。一个 16 KB 的地址空间可能长这样:

    当程序运行时,heap 和 stack 共用中间 free 的区域,当然这只是 OS 层面的抽象。比如下面这段代码:

    int x;
    
    x = x + 3; // this is the line of code we are interested in

    变成汇编指令后,大概是这样:

    128: movl 0x0(%ebx), %eax  ;load 0+ebx into eax
    132: addl $0x03, %eax ;add 3 to eax register
    135: movl %eax, 0x0(%ebx) ;store eax back to mem

    最前面的是 PC (Program Counter),用来表示当前 code 的索引,比如 CPU 执行到 128 时,进行了 Context Switch(上下文切换),那么在 Switch 回来后,还可以接着从 132 开始执行(当然需要先把 PC 存起来)。之后的就是汇编代码,告诉 CPU 该如何操作。

    从进程的角度看,内存可能是这样的:

    真实的物理内存可能是这样的:

    基址寄存器与界限寄存器可以简单的动态重定位:每个内存地址送到内存之前,都会自动加上基址寄存器的内容。

    从 32KB 处作为开始,48KB 作为结束。那 32 / 48 可不可以动态设置呢,只要在 CPU 上整两个寄存器,基址寄存器base 和 界限寄存器bounds 就可以了,base 指明从哪里开始,bounds 指定哪里是边界。 因此真实物理地址和虚拟地址之间的关系是:

    physical address = virtual address + base

    有时,CPU 上用来做内存地址翻译的也会被叫做「内存管理单元 MMU」(Memory Management Unit),随着功能越来越强大,MMU 也会变得越来越复杂。

    base and bounds 这种做法最大的问题在于空间浪费,Stack 和 Heap 中间有一块 free space,即使没有用,也被占着,那如何才能解放这块区域呢,进入虚拟内存。

     

    3、虚拟内存

    虚拟内存是现代操作系统普遍使用的一种技术。前面所讲的抽象满足了多进程的要求,但很多情况下,现有内存无法满足仅仅一个大进程的内存要求。物理内存不够用的情况下,如何解决呢?

     覆盖overlays:在早期的操作系统曾使用覆盖技术来解决这个问题,将一个程序分为多个块,基本思想是先将块0加入内存,块0执行完后,将块1加入内存。依次往复,这个解决方案最大的问题是需要程序员去程序进行分块,这是一个费时费力让人痛苦不堪的过程。后来这个解决方案的修正版就是虚拟内存。
    交换swapping:可以将暂时不能执行的程序(进程)送到外存中,从而获得空闲内存空间来装入新程序(进程),或读人保存在外存中而处于就绪状态的程序。

    虚拟内存:虚拟内存的基本思想是,每个进程有用独立的逻辑地址空间,内存被分为大小相等的多个块,称为(Page).每个页都是一段连续的地址。对于进程来看,逻辑上貌似有很多内存空间,其中一部分对应物理内存上的一块(称为页框,通常页和页框大小相等),还有一些没加载在内存中的对应在硬盘上。

     

    三. 物理内存:连续分配存储管理方式


          连续分配是指为一个用户程序分配连续的内存空间。连续分配有单一连续存储管理和分区式储管理两种方式。

    3.1 单一连续存储管理

         在这种管理方式中,内存被分为两个区域:系统区和用户区。应用程序装入到用户区,可使用用户区全部空间。其特点是,最简单,适用于单用户、单任务的操作系统。CP/M和 DOS 2.0以下就是采用此种方式。这种方式的最大优点就是易于管理。但也存在着一些问题和不足之处,例如对要求内存空间少的程序,造成内存浪费;程序全部装入,使得很少使用的程序部分也占用—定数量的内存。

    3.2 分区式存储管理

           为了支持多道程序系统和分时系统,支持多个程序并发执行,引入了分区式存储管理。分区式存储管理是把内存分为一些大小相等或不等的分区,操作系统占用其中一个分区,其余的分区由应用程序使用,每个应用程序占用一个或几个分区。分区式存储管理虽然可以支持并发,但难以进行内存分区的共享。

           分区式存储管理引人了两个新的问题:内碎片和外碎片

          内碎片是占用分区内未被利用的空间,外碎片是占用分区之间难以利用的空闲分区(通常是小空闲分区)。

           为实现分区式存储管理,操作系统应维护的数据结构为分区表或分区链表。表中各表项一般包括每个分区的起始地址、大小及状态(是否已分配)。

          分区式存储管理常采用的一项技术就是内存紧缩(compaction)。

    3.2.1 固定分区(nxedpartitioning)。

            固定式分区的特点是把内存划分为若干个固定大小的连续分区。分区大小可以相等:这种作法只适合于多个相同程序的并发执行(处理多个类型相同的对象)。分区大小也可以不等:有多个小分区、适量的中等分区以及少量的大分区。根据程序的大小,分配当前空闲的、适当大小的分区。

          优点:易于实现,开销小。

          缺点主要有两个:内碎片造成浪费;分区总数固定,限制了并发执行的程序数目。

    3.2.2动态分区(dynamic partitioning)。

            动态分区的特点是动态创建分区:在装入程序时按其初始要求分配,或在其执行过程中通过系统调用进行分配或改变分区大小。与固定分区相比较其优点是:没有内碎片。但它却引入了另一种碎片——外碎片。动态分区的分区分配就是寻找某个空闲分区,其大小需大于或等于程序的要求。若是大于要求,则将该分区分割成两个分区,其中一个分区为要求的大小并标记为“占用”,而另一个分区为余下部分并标记为“空闲”。分区分配的先后次序通常是从内存低端到高端。动态分区的分区释放过程中有一个要注意的问题是,将相邻的空闲分区合并成一个大的空闲分区。

    下面列出了几种常用的分区分配算法:

            最先适配法(nrst-fit):按分区在内存的先后次序从头查找,找到符合要求的第一个分区进行分配。该算法的分配和释放的时间性能较好,较大的空闲分区可以被保留在内存高端。但随着低端分区不断划分会产生较多小分区,每次分配时查找时间开销便会增大。

           下次适配法(循环首次适应算法 next fit):按分区在内存的先后次序,从上次分配的分区起查找(到最后{区时再从头开始},找到符合要求的第一个分区进行分配。该算法的分配和释放的时间性能较好,使空闲分区分布得更均匀,但较大空闲分区不易保留。

           最佳适配法(best-fit):按分区在内存的先后次序从头查找,找到其大小与要求相差最小的空闲分区进行分配。从个别来看,外碎片较小;但从整体来看,会形成较多外碎片优点是较大的空闲分区可以被保留。

           最坏适配法(worst- fit):按分区在内存的先后次序从头查找,找到最大的空闲分区进行分配。基本不留下小空闲分区,不易形成外碎片。但由于较大的空闲分区不被保留,当对内存需求较大的进程需要运行时,其要求不易被满足。

    3.3 伙伴系统

            固定分区和动态分区方式都有不足之处。固定分区方式限制了活动进程的数目,当进程大小与空闲分区大小不匹配时,内存空间利用率很低。动态分区方式算法复杂,回收空闲分区时需要进行分区合并等,系统开销较大。伙伴系统方式是对以上两种内存方式的一种折衷方案。
            伙伴系统规定,无论已分配分区或空闲分区,其大小均为 2 的 k 次幂,k 为整数, l≤k≤m,其中:

            2^1 表示分配的最小分区的大小,

            2^m 表示分配的最大分区的大小,

            通常 2^m是整个可分配内存的大小。
            假设系统的可利用空间容量为2^m个字, 则系统开始运行时, 整个内存区是一个大小为2^m的空闲分区。在系统运行过中, 由于不断的划分,可能会形成若干个不连续的空闲分区,将这些空闲分区根据分区的大小进行分类,对于每一类具有相同大小的所有空闲分区,单独设立一个空闲分区双向链表。这样,不同大小的空闲分区形成了k(0≤k≤m)个空闲分区链表。 

           分配步骤:

           当需要为进程分配一个长度为n 的存储空间时:

           首先计算一个i 值,使 2^(i-1) <n ≤ 2^i,

           然后在空闲分区大小为2^i的空闲分区链表中查找。

           若找到,即把该空闲分区分配给进程。

           否则,表明长度为2^i的空闲分区已经耗尽,则在分区大小为2^(i+1)的空闲分区链表中寻找。

           若存在 2^(i+1)的一个空闲分区,则把该空闲分区分为相等的两个分区,这两个分区称为一对伙伴,其中的一个分区用于配,   而把另一个加入分区大小为2^i的空闲分区链表中。

           若大小为2^(i+1)的空闲分区也不存在,则需要查找大小为2^(i+2)的空闲分区, 若找到则对其进行两次分割:

                  第一次,将其分割为大小为 2^(i+1)的两个分区,一个用于分配,一个加入到大小为 2^(i+1)的空闲分区链表中;

                  第二次,将第一次用于分配的空闲区分割为 2^i的两个分区,一个用于分配,一个加入到大小为 2^i的空闲分区链表中。

          若仍然找不到,则继续查找大小为 2^(i+3)的空闲分区,以此类推。

          由此可见,在最坏的情况下,可能需要对 2^k的空闲分区进行 k 次分割才能得到所需分区。

          与一次分配可能要进行多次分割一样,一次回收也可能要进行多次合并,如回收大小为2^i的空闲分区时,若事先已存在2^i的空闲分区时,则应将其与伙伴分区合并为大小为2^i+1的空闲分区,若事先已存在2^i+1的空闲分区时,又应继续与其伙伴分区合并为大小为2^i+2的空闲分区,依此类推。
            在伙伴系统中,其分配和回收的时间性能取决于查找空闲分区的位置和分割、合并空闲分区所花费的时间。与前面所述的多种方法相比较,由于该算法在回收空闲分区时,需要对空闲分区进行合并,所以其时间性能比前面所述的分类搜索算法差,但比顺序搜索算法好,而其空间性能则远优于前面所述的分类搜索法,比顺序搜索法略差。 需要指出的是,在当前的操作系统中,普遍采用的是下面将要讲述的基于分页和分段机制的虚拟内存机制,该机制较伙伴算法更为合理和高效,但在多处理机系统中,伙伴系统仍不失为一种有效的内存分配和释放的方法,得到了大量的应用。

    3.4 内存紧缩(内存碎片化处理)

              内存紧缩:将各个占用分区向内存一端移动,然后将各个空闲分区合并成为一个空闲分区。

            这种技术在提供了某种程度上的灵活性的同时,也存在着一些弊端,例如:对占用分区进行内存数据搬移占用CPU时间;如果对占用分区中的程序进行“浮动”,则其重定位需要硬件支持。

              紧缩时机:每个分区释放后,或内存分配找不到满足条件的空闲分区时。

           

                                   图8.12

          堆结构的存储管理的分配算法:

          在动态存储过程中,不管哪个时刻,可利用空间都是-一个地址连续的存储区,在编译程序中称之为"堆",每次分配都是从这个可利用空间中划出一块。其实现办法是:设立一个指針,称之为堆指针,始终指向堆的最低(或锻联)地址。当用户申请N个单位的存储块时,堆指针向高地址(或 低地址)称动N个存储单位,而移动之前的堆指针的值就是分配给用户的占用块的初始地址。例如,某个串处理系统中有A、B、C、D这4个串,其串值长度分别為12,6,10和8. 假设堆指针free的初值为零,则分配给这4个串值的存储空间的初始地址分别为0.12.18和 28,如图8.12(a)和(b)所示,分配后的堆指针的值为36。 因此,这种堆结构的存储管理的分配算法非常简单

         释放内存空间执行内存紧缩:

         回收用户释放的空闲块就比较麻烦.由于系统的可利用空间始终是一个绝址连续的存储块,因此回收时必须将所释放的空间块合并到整个堆上去才 能重新使用,这就是"存储策缩"的任务.通常,有两种做法:

          一种是一旦有用户释放存储块即进行回收紧缩,例始,图8.12 (a)的堆,在c串释放存储块时即回收紧缩,例如图8.12 (c)的堆,同时修改串的存储映像成图8.12(d)的状态;

         另一种是在程序执行过程中不回收用户随时释放的存储块,直到可利用空同不够分配或堆指针指向最高地址时才进行存储紧缩。此时紧缩的目的是将堆中所有的空间块连成一块,即将所有的占用块部集中到 可利用空间的低地地区,而剩余的高地址区成为一整个地继连续的空闲块,如图8.13所示,其中(a)为紧缩前的状态,(b)为紧缩后的状态•

          

                         图8.13  a 紧缩前 b紧缩后

           和无用单元收集类似,为实现存储紫编,首先要对占用块进行“标志”,标志算法和无用单元收集类同(存储块的结构可能不同),其次需进行下列4步雄作:

          (1)计算占用块的新地址。从最低地址开始巡査整个存储空间,对每一个占用块找到它在紧缩后的新地址。 为此,需设立两个指针随巡查向前移动,这两个指针分别指示占用 块在紧缩之前和之后的原地址和新地址。因此,在每个占用块的第-·个存储单位中,除了 设立长度域(存储该占用换的大小)和标志域(存储区别该存储块是占用块或空闲块的标 志)之外,还需设立一个新地址城,以存储占用块在紧缩后应有的新地址,即建立一张新, 旧地址的对照表m

           (2)修改用户触初始变量表,以便在存储紧缩后用户程序能继续正常运行*。

           (3)检查每个占用块中存储的数据, 若有指向其他存储换的指针,则需作相应修改.

           (4)将所有占用块迁移到新地址走,这实质上是作传送数据的工作。

           至此,完成了存储紧缩的操作,最后,将堆指针赋以新值(即紧缩后的空闲存储区的最低地址)。

           可见,存储紧缩法比无用单元收集法更为复杂,前者不仅要传送数据(进行占用块迁移),而且还有需要修改所有占用块中的指针值。因此,存储紧缩也是个系统操作,且非不得已就不用。

     

    3.5 覆盖技术

            引入覆盖 (overlay)技术的目标是在较小的可用内存中运行较大的程序。这种技术常用于多道程序系统之中,与分区式存储管理配合使用。

           覆盖技术的原理:一个程序的几个代码段或数据段,按照时间先后来占用公共的内存空间。将程序必要部分(常用功能)的代码和数据常驻内存;可选部分(不常用功能)平时存放在外存(覆盖文件)中,在需要时才装入内存。不存在调用关系的模块不必同时装入到内存,从而可以相互覆盖。

           在任何时候只在内存中保留所需的指令和数据;当需要其它指令时,它们会装入到刚刚不再需要的指令所占用的内存空间;

           如在同一时刻,CPU只能执行B,C中某一条。B,C之间就可以做覆盖。

          

     

           覆盖技术的缺点是编程时必须划分程序模块和确定程序模块之间的覆盖关系,增加编程复杂度;从外存装入覆盖文件,以时间延长换取空间节省。

          覆盖的实现方式有两种:以函数库方式实现或操作系统支持。

    3.6 交换技术

          交换 (swapping)技术在多个程序并发执行时,可以将暂时不能执行的程序(进程)送到外存中,从而获得空闲内存空间来装入新程序(进程),或读人保存在外存中而处于就绪状态的程序。交换单位为整个进程的地址空间。交换技术常用于多道程序系统或小型分时系统中,因为这些系统大多采用分区存储管理方式。与分区式存储管理配合使用又称作“对换”或“滚进/滚出” (roll-in/roll-out)。

          原理:暂停执行内存中的进程,将整个进程的地址空间保存到外存的交换区中(换出swap out),而将外存中由阻塞变为就绪的进程的地址空间读入到内存中,并将该进程送到就绪队列(换入swap in)。

         交换技术优点之一是增加并发运行的程序数目,并给用户提供适当的响应时间;与覆盖技术相比交换技术另一个显著的优点是不影响程序结构。交换技术本身也存在着不足,例如:对换人和换出的控制增加处理器开销;程序整个地址空间都进行对换,没有考虑执行过程中地址访问的统计特性。

    3.7 覆盖与交换比较

           1)与覆盖技术相比,交换不要求程序员给出程序段之间的覆盖结构。

           2)交换主要是在进程与作业之间进行,而覆盖则主要在同一作业或进程内进行。 另外覆盖只能覆盖那些与覆盖程序段无关的程序段。

     

    四. 物理内存非连续:页式和段式存储管理


           在前面的几种存储管理方法中,为进程分配的空间是连续的,使用的地址都是物理地址。如果允许将一个进程分散到许多不连续的空间,就可以避免内存紧缩,减少碎片。基于这一思想,通过引入进程的逻辑地址,把进程地址空间与实际存储空间分离,增加存储管理的灵活性。地址空间和存储空间两个基本概念的定义如下:

    地址空间:将源程序经过编译后得到的目标程序,存在于它所限定的地址范围内,这个范围称为地址空间。地址空间是逻辑地址的集合。

    存储空间:指主存中一系列存储信息的物理单元的集合,这些单元的编号称为物理地址存储空间是物理地址的集合。

    根据分配时所采用的基本单位不同,可将离散分配的管理方式分为以下三种:
    页式存储管理、段式存储管理和段页式存储管理。其中段页式存储管理是前两种结合的产物。

    页式和段式管理区别

    页式和段式系统有许多相似之处。比如,两者都采用离散分配方式,且都通过地址映射机构来实现地址变换。但概念上两者也有很多区别,主要表现在:

          1)、需求:是信息的物理单位,分页是为了实现离散分配方式,以减少内存的碎片,提高内存的利用率。或者说,分页仅仅是由于系统管理的需要,而不是用户的需要。段是信息的逻辑单位,它含有一组其意义相对完整的信息。分段的目的是为了更好地满足用户的需要。

        一条指令或一个操作数可能会跨越两个页的分界处,而不会跨越两个段的分界处。

         2)、大小:页大小固定且由系统决定,把逻辑地址划分为页号和页内地址两部分,是由机器硬件实现的。段的长度不固定,且决定于用户所编写的程序,通常由编译系统在对源程序进行编译时根据信息的性质来划分。

         3)、逻辑地址表示:页式系统地址空间是一维的,即单一的线性地址空间,程序员只需利用一个标识符,即可表示一个地址。分段的作业地址空间是二维的,程序员在标识一个地址时,既需给出段名,又需给出段内地址。

         4)、比页大,因而段表比页表短,可以缩短查找时间,提高访问速度。

     

    五. 页式存储管理


    5.1 基本原理

            将程序的逻辑地址空间划分为固定大小的页(page),而物理内存划分为同样大小的页框(page frame)。程序加载时,可将任意一页放人内存中任意一个页框,这些页框不必连续,从而实现了离散分配。该方法需要CPU的硬件支持,来实现逻辑地址和物理地址之间的映射。在页式存储管理方式中地址结构由两部构成,前一部分是页号,后一部分为页内地址w(位移量),如图4所示:

          

          页式管理方式的优点是:

           1)没有外碎片,每个内碎片不超过页大比前面所讨论的几种管理方式的最大进步是,

           2)一个程序不必连续存放。

           3)便于改变程序占用空间的大小(主要指随着程序运行,动态生成的数据增多,所要求的地址空间相应增长)。

          缺点是:要求程序全部装入内存,没有足够的内存,程序就不能执行。

    5.2 页式管理的数据结构

             在页式系统中进程建立时,操作系统为进程中所有的页分配页框。当进程撤销时收回所有分配给它的页框。在程序的运行期间,如果允许进程动态地申请空间,操作系统还要为进程申请的空间分配物理页框。操作系统为了完成这些功能,必须记录系统内存中实际的页框使用情况。操作系统还要在进程切换时,正确地切换两个不同的进程地址空间到物理内存空间的映射。这就要求操作系统要记录每个进程页表的相关信息。为了完成上述的功能,—个页式系统中,一般要采用如下的数据结构。

            进程页表:完成逻辑页号(本进程的地址空间)到物理页面号(实际内存空间,也叫块号)的映射。
            每个进程有一个页表,描述该进程占用的物理页面及逻辑排列顺序,如图:

           

                                     图4-1 页表

            物理页面表:整个系统有一个物理页面表,描述物理内存空间的分配使用状况,其数据结构可采用位示图和空闲页链表

            对于位示图法,即如果该页面已被分配,则对应比特位置1,否置0.

           

                                      图4-2 页面表

            请求表:整个系统有一个请求表,描述系统内各个进程页表的位置和大小,用于地址转换也可以结合到各进程的PCB(进程控制块)里。如图:

          

                                           图4-3 请求表

    5.3 页式管理地址变换

           在页式系统中,指令所给出的地址分为两部分:逻辑页号和页内地址。

           原理:CPU中的内存管理单元(MMU)按逻辑页号通过查进程页表得到物理页框号,将物理页框号与页内地址相加形成物理地址(见图4-4)。

            逻辑页号,页内偏移地址->查进程页表,得物理页号->物理地址:

           

                                           图4-4 页式管理的地址变换

           上述过程通常由处理器的硬件直接完成,不需要软件参与。通常,操作系统只需在进程切换时,把进程页表的首地址装入处理器特定的寄存器中即可。一般来说,页表存储在主存之中。这样处理器每访问一个在内存中的操作数,就要访问两次内存:

           第一次用来查找页表将操作数的 逻辑地址变换为物理地址;

           第二次完成真正的读写操作。       

          这样做时间上耗费严重。为缩短查找时间,可以将页表从内存装入CPU内部的关联存储器(例如,快表) 中,实现按内容查找。此时的地址变换过程是:在CPU给出有效地址后,由地址变换机构自动将页号送人快表,并将此页号与快表中的所有页号进行比较,而且这 种比较是同时进行的。若其中有与此相匹配的页号,表示要访问的页的页表项在快表中。于是可直接读出该页所对应的物理页号,这样就无需访问内存中的页表。由于关联存储器的访问速度比内存的访问速度快得多。

     

     

    六. 段式存储管理


    6.1 基本原理

            在段式存储管理中,将程序的地址空间划分为若干个段(segment),这样每个进程有一个二维的地址空间。在前面所介绍的动态分区分配方式中,系统为整个进程分配一个连续的内存空间。而在段式存储管理系统中,则为每个段分配一个连续的分区,而进程中的各个段可以不连续地存放在内存的不同分区中。程序加载时,操作系统为所有段分配其所需内存,这些段不必连续,物理内存的管理采用动态分区的管理方法。

          在为某个段分配物理内存时,可以采用首先适配法、下次适配法、最佳适配法等方法。

          在回收某个段所占用的空间时,要注意将收回的空间与其相邻的空间合并。

          段式存储管理也需要硬件支持,实现逻辑地址到物理地址的映射。

          程序通过分段划分为多个模块,如代码段、数据段、共享段:

          –可以分别编写和编译

          –可以针对不同类型的段采取不同的保护

          –可以按段为单位来进行共享,包括通过动态链接进行代码共享

          这样做的优点是:可以分别编写和编译源程序的一个文件,并且可以针对不同类型的段采取不同的保护,也可以按段为单位来进行共享。

           总的来说,段式存储管理的优点是:没有内碎片,外碎片可以通过内存紧缩来消除;便于实现内存共享。缺点与页式存储管理的缺点相同,进程必须全部装入内存。

    6.2 段式管理的数据结构

             为了实现段式管理,操作系统需要如下的数据结构来实现进程的地址空间到物理内存空间的映射,并跟踪物理内存的使用情况,以便在装入新的段的时候,合理地分配内存空间。

           ·进程段表:描述组成进程地址空间的各段,可以是指向系统段表中表项的索引。每段有段基址(baseaddress),即段内地址。

            在系统中为每个进程建立一张段映射表,如图:

            

           ·系统段表:系统所有占用段(已经分配的段)。

          

           ·空闲段表:内存中所有空闲段,可以结合到系统段表中。

    6.3 段式管理的地址变换

                                 

                                                                      图4—5 段式管理的地址变换

            在段式 管理系统中,整个进程的地址空间是二维的,即其逻辑地址由段号和段内地址两部分组成。为了完成进程逻辑地址到物理地址的映射,处理器会查找内存中的段表,由段号得到段的首地址,加上段内地址,得到实际的物理地址(见图4—5)。这个过程也是由处理器的硬件直接完成的,操作系统只需在进程切换时,将进程段表的首地址装入处理器的特定寄存器当中。这个寄存器一般被称作段表地址寄存器。

     

    展开全文
  • Linux内存管理(最透彻的一篇)

    万次阅读 多人点赞 2018-07-27 17:46:02
    摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。力求从外到内、水到渠成地引导网友分析Linux的内存管理与使用。在本章最后,...

    摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。力求从外到内、水到渠成地引导网友分析Linux的内存管理与使用。在本章最后,我们给出一个内存映射的实例,帮助网友们理解内核内存管理与用户内存管理之间的关系,希望大家最终能驾驭Linux内存管理。

    前言

    内存管理一向是所有操作系统书籍不惜笔墨重点讨论的内容,无论市面上或是网上都充斥着大量涉及内存管理的教材和资料。因此,我们这里所要写的Linux内存管理采取避重就轻的策略,从理论层面就不去班门弄斧,贻笑大方了。我们最想做的和可能做到的是从开发者的角度谈谈对内存管理的理解,最终目的是把我们在内核开发中使用内存的经验和对Linux内存管理的认识与大家共享。

    当然,这其中我们也会涉及到一些诸如段页等内存管理的基本理论,但我们的目的不是为了强调理论,而是为了指导理解开发中的实践,所以仅仅点到为止,不做深究。

    遵循“理论来源于实践”的“教条”,我们先不必一下子就钻入内核里去看系统内存到底是如何管理,那样往往会让你陷入似懂非懂的窘境(我当年就犯了这个错误!)。所以最好的方式是先从外部(用户编程范畴)来观察进程如何使用内存,等到大家对内存的使用有了较直观的认识后,再深入到内核中去学习内存如何被管理等理论知识。最后再通过一个实例编程将所讲内容融会贯通。

    进程与内存

    进程如何使用内存?

    毫无疑问,所有进程(执行的程序)都必须占用一定数量的内存,它或是用来存放从磁盘载入的程序代码,或是存放取自用户输入的数据等等。不过进程对这些内存的管理方式因内存用途不一而不尽相同,有些内存是事先静态分配和统一回收的,而有些却是按需要动态分配和回收的。

    对任何一个普通进程来讲,它都会涉及到5种不同的数据段。稍有编程知识的朋友都能想到这几个数据段中包含有“程序代码段”、“程序数据段”、“程序堆栈段”等。不错,这几种数据段都在其中,但除了以上几种数据段之外,进程还另外包含两种数据段。下面我们来简单归纳一下进程对应的内存空间中所包含的5种不同的数据区。

    代码段:代码段是用来存放可执行文件的操作指令,也就是说是它是可执行程序在内存中的镜像。代码段需要防止在运行时被非法修改,所以只准许读取操作,而不允许写入(修改)操作——它是不可写的。

    数据段:数据段用来存放可执行文件中已初始化全局变量,换句话说就是存放程序静态分配[1]的变量和全局变量。

    BSS段[2]:BSS段包含了程序中未初始化的全局变量,在内存中 bss段全部置零。

    堆(heap):堆是用于存放进程运行中被动态分配的内存段,它的大小并不固定,可动态扩张或缩减。当进程调用malloc等函数分配内存时,新分配的内存就被动态添加到堆上(堆被扩张);当利用free等函数释放内存时,被释放的内存从堆中被剔除(堆被缩减)

    :栈是用户存放程序临时创建的局部变量,也就是说我们函数括弧“{}”中定义的变量(但不包括static声明的变量,static意味着在数据段中存放变量)。除此以外,在函数被调用时,其参数也会被压入发起调用的进程栈中,并且待到调用结束后,函数的返回值也会被存放回栈中。由于栈的先进先出特点,所以栈特别方便用来保存/恢复调用现场。从这个意义上讲,我们可以把堆栈看成一个寄存、交换临时数据的内存区。

    进程如何组织这些区域?

    上述几种内存区域中数据段、BSS和堆通常是被连续存储的——内存位置上是连续的,而代码段和栈往往会被独立存放。有趣的是,堆和栈两个区域关系很“暧昧”,他们一个向下“长”(i386体系结构中栈向下、堆向上),一个向上“长”,相对而生。但你不必担心他们会碰头,因为他们之间间隔很大(到底大到多少,你可以从下面的例子程序计算一下),绝少有机会能碰到一起。

    下图简要描述了进程内存区域的分布:

    “事实胜于雄辩”,我们用一个小例子(原形取自《User-Level Memory Management》)来展示上面所讲的各种内存区的差别与位置。

    #include<stdio.h>

    #include<malloc.h>

    #include<unistd.h>

    int bss_var;

    int data_var0=1;

    int main(int argc,char **argv)

    {

      printf("below are addresses of types of process's mem\n");

      printf("Text location:\n");

      printf("\tAddress of main(Code Segment):%p\n",main);

      printf("____________________________\n");

      int stack_var0=2;

      printf("Stack Location:\n");

      printf("\tInitial end of stack:%p\n",&stack_var0);

      int stack_var1=3;

      printf("\tnew end of stack:%p\n",&stack_var1);

      printf("____________________________\n");

      printf("Data Location:\n");

      printf("\tAddress of data_var(Data Segment):%p\n",&data_var0);

      static int data_var1=4;

      printf("\tNew end of data_var(Data Segment):%p\n",&data_var1);

      printf("____________________________\n");

      printf("BSS Location:\n");

      printf("\tAddress of bss_var:%p\n",&bss_var);

      printf("____________________________\n");

      char *b = sbrk((ptrdiff_t)0);

      printf("Heap Location:\n");

      printf("\tInitial end of heap:%p\n",b);

      brk(b+4);

      b=sbrk((ptrdiff_t)0);

      printf("\tNew end of heap:%p\n",b);

    return 0;

     }

    它的结果如下

    below are addresses of types of process's mem

    Text location:

       Address of main(Code Segment):0x8048388

    ____________________________

    Stack Location:

       Initial end of stack:0xbffffab4

       new end of stack:0xbffffab0

    ____________________________

    Data Location:

       Address of data_var(Data Segment):0x8049758

       New end of data_var(Data Segment):0x804975c

    ____________________________

    BSS Location:

       Address of bss_var:0x8049864

    ____________________________

    Heap Location:

       Initial end of heap:0x8049868

       New end of heap:0x804986c

    利用size命令也可以看到程序的各段大小,比如执行size example会得到

    text data bss dec hex filename

    1654 280   8 1942 796 example

    但这些数据是程序编译的静态统计,而上面显示的是进程运行时的动态值,但两者是对应的。

     

    通过前面的例子,我们对进程使用的逻辑内存分布已先睹为快。这部分我们就继续进入操作系统内核看看,进程对内存具体是如何进行分配和管理的。

    从用户向内核看,所使用的内存表象形式会依次经历“逻辑地址”——“线性地址”——“物理地址”几种形式(关于几种地址的解释在前面已经讲述了)。逻辑地址经段机制转化成线性地址;线性地址又经过页机制转化为物理地址。(但是我们要知道Linux系统虽然保留了段机制,但是将所有程序的段地址都定死为0-4G,所以虽然逻辑地址和线性地址是两种不同的地址空间,但在Linux中逻辑地址就等于线性地址,它们的值是一样的)。沿着这条线索,我们所研究的主要问题也就集中在下面几个问题。

    1.     进程空间地址如何管理?

    2.     进程地址如何映射到物理内存?

    3.     物理内存如何被管理?

    以及由上述问题引发的一些子问题。如系统虚拟地址分布;内存分配接口;连续内存分配与非连续内存分配等。

     

    进程内存空间

    Linux操作系统采用虚拟内存管理技术,使得每个进程都有各自互不干涉的进程地址空间。该空间是块大小为4G的线性虚拟空间,用户所看到和接触到的都是该虚拟地址,无法看到实际的物理内存地址。利用这种虚拟地址不但能起到保护操作系统的效果(用户不能直接访问物理内存),而且更重要的是,用户程序可使用比实际物理内存更大的地址空间(具体的原因请看硬件基础部分)。

    在讨论进程空间细节前,这里先要澄清下面几个问题:

    l         第一、4G的进程地址空间被人为的分为两个部分——用户空间与内核空间。用户空间从0到3G(0xC0000000),内核空间占据3G到4G。用户进程通常情况下只能访问用户空间的虚拟地址,不能访问内核空间虚拟地址。只有用户进程进行系统调用(代表用户进程在内核态执行)等时刻可以访问到内核空间。

    l         第二、用户空间对应进程,所以每当进程切换,用户空间就会跟着变化;而内核空间是由内核负责映射,它并不会跟着进程改变,是固定的。内核空间地址有自己对应的页表(init_mm.pgd),用户进程各自有不同的页表。

    l         第三、每个进程的用户空间都是完全独立、互不相干的。不信的话,你可以把上面的程序同时运行10次(当然为了同时运行,让它们在返回前一同睡眠100秒吧),你会看到10个进程占用的线性地址一模一样。

     

    进程内存管理

    进程内存管理的对象是进程线性地址空间上的内存镜像,这些内存镜像其实就是进程使用的虚拟内存区域(memory region)。进程虚拟空间是个32或64位的“平坦”(独立的连续区间)地址空间(空间的具体大小取决于体系结构)。要统一管理这么大的平坦空间可绝非易事,为了方便管理,虚拟空间被划分为许多大小可变的(但必须是4096的倍数)内存区域,这些区域在进程线性地址中像停车位一样有序排列。这些区域的划分原则是“将访问属性一致的地址空间存放在一起”,所谓访问属性在这里无非指的是“可读、可写、可执行等”。

    如果你要查看某个进程占用的内存区域,可以使用命令cat /proc/<pid>/maps获得(pid是进程号,你可以运行上面我们给出的例子——./example &;pid便会打印到屏幕),你可以发现很多类似于下面的数字信息。

    由于程序example使用了动态库,所以除了example本身使用的的内存区域外,还会包含那些动态库使用的内存区域(区域顺序是:代码段、数据段、bss段)。

    我们下面只抽出和example有关的信息,除了前两行代表的代码段和数据段外,最后一行是进程使用的栈空间。

    -------------------------------------------------------------------------------

    08048000 - 08049000 r-xp 00000000 03:03 439029                               /home/mm/src/example

    08049000 - 0804a000 rw-p 00000000 03:03 439029                               /home/mm/src/example

    ……………

    bfffe000 - c0000000 rwxp ffff000 00:00 0

    ----------------------------------------------------------------------------------------------------------------------

    每行数据格式如下:

    (内存区域)开始-结束 访问权限  偏移  主设备号:次设备号 i节点  文件。

    注意,你一定会发现进程空间只包含三个内存区域,似乎没有上面所提到的堆、bss等,其实并非如此,程序内存段和进程地址空间中的内存区域是种模糊对应,也就是说,堆、bss、数据段(初始化过的)都在进程空间中由数据段内存区域表示。

     

    在Linux内核中对应进程内存区域的数据结构是: vm_area_struct, 内核将每个内存区域作为一个单独的内存对象管理,相应的操作也都一致。采用面向对象方法使VMA结构体可以代表多种类型的内存区域--比如内存映射文件或进程的用户空间栈等,对这些区域的操作也都不尽相同。

    vm_area_strcut结构比较复杂,关于它的详细结构请参阅相关资料。我们这里只对它的组织方法做一点补充说明。vm_area_struct是描述进程地址空间的基本管理单元,对于一个进程来说往往需要多个内存区域来描述它的虚拟空间,如何关联这些不同的内存区域呢?大家可能都会想到使用链表,的确vm_area_struct结构确实是以链表形式链接,不过为了方便查找,内核又以红黑树(以前的内核使用平衡树)的形式组织内存区域,以便降低搜索耗时。并存的两种组织形式,并非冗余:链表用于需要遍历全部节点的时候用,而红黑树适用于在地址空间中定位特定内存区域的时候。内核为了内存区域上的各种不同操作都能获得高性能,所以同时使用了这两种数据结构。

    下图反映了进程地址空间的管理模型:

    进程的地址空间对应的描述结构是“内存描述符结构”,它表示进程的全部地址空间,——包含了和进程地址空间有关的全部信息,其中当然包含进程的内存区域。

    进程内存的分配与回收

    创建进程fork()、程序载入execve()、映射文件mmap()、动态内存分配malloc()/brk()等进程相关操作都需要分配内存给进程。不过这时进程申请和获得的还不是实际内存,而是虚拟内存,准确的说是“内存区域”。进程对内存区域的分配最终都会归结到do_mmap()函数上来(brk调用被单独以系统调用实现,不用do_mmap()),

    内核使用do_mmap()函数创建一个新的线性地址区间。但是说该函数创建了一个新VMA并不非常准确,因为如果创建的地址区间和一个已经存在的地址区间相邻,并且它们具有相同的访问权限的话,那么两个区间将合并为一个。如果不能合并,那么就确实需要创建一个新的VMA了。但无论哪种情况, do_mmap()函数都会将一个地址区间加入到进程的地址空间中--无论是扩展已存在的内存区域还是创建一个新的区域。

    同样,释放一个内存区域应使用函数do_ummap(),它会销毁对应的内存区域。

    如何由虚变实!

        从上面已经看到进程所能直接操作的地址都为虚拟地址。当进程需要内存时,从内核获得的仅仅是虚拟的内存区域,而不是实际的物理地址,进程并没有获得物理内存(物理页面——页的概念请大家参考硬件基础一章),获得的仅仅是对一个新的线性地址区间的使用权。实际的物理内存只有当进程真的去访问新获取的虚拟地址时,才会由“请求页机制”产生“缺页”异常,从而进入分配实际页面的例程。

    该异常是虚拟内存机制赖以存在的基本保证——它会告诉内核去真正为进程分配物理页,并建立对应的页表,这之后虚拟地址才实实在在地映射到了系统的物理内存上。(当然,如果页被换出到磁盘,也会产生缺页异常,不过这时不用再建立页表了)

    这种请求页机制把页面的分配推迟到不能再推迟为止,并不急于把所有的事情都一次做完(这种思想有点像设计模式中的代理模式(proxy))。之所以能这么做是利用了内存访问的“局部性原理”,请求页带来的好处是节约了空闲内存,提高了系统的吞吐率。要想更清楚地了解请求页机制,可以看看《深入理解linux内核》一书。

    这里我们需要说明在内存区域结构上的nopage操作。当访问的进程虚拟内存并未真正分配页面时,该操作便被调用来分配实际的物理页,并为该页建立页表项。在最后的例子中我们会演示如何使用该方法。

     

     

    系统物理内存管理 

    虽然应用程序操作的对象是映射到物理内存之上的虚拟内存,但是处理器直接操作的却是物理内存。所以当应用程序访问一个虚拟地址时,首先必须将虚拟地址转化成物理地址,然后处理器才能解析地址访问请求。地址的转换工作需要通过查询页表才能完成,概括地讲,地址转换需要将虚拟地址分段,使每段虚地址都作为一个索引指向页表,而页表项则指向下一级别的页表或者指向最终的物理页面。

    每个进程都有自己的页表。进程描述符的pgd域指向的就是进程的页全局目录。下面我们借用《linux设备驱动程序》中的一幅图大致看看进程地址空间到物理页之间的转换关系。

     

     

         上面的过程说起来简单,做起来难呀。因为在虚拟地址映射到页之前必须先分配物理页——也就是说必须先从内核中获取空闲页,并建立页表。下面我们介绍一下内核管理物理内存的机制。

     

    物理内存管理(页管理)

    Linux内核管理物理内存是通过分页机制实现的,它将整个内存划分成无数个4k(在i386体系结构中)大小的页,从而分配和回收内存的基本单位便是内存页了。利用分页管理有助于灵活分配内存地址,因为分配时不必要求必须有大块的连续内存[3],系统可以东一页、西一页的凑出所需要的内存供进程使用。虽然如此,但是实际上系统使用内存时还是倾向于分配连续的内存块,因为分配连续内存时,页表不需要更改,因此能降低TLB的刷新率(频繁刷新会在很大程度上降低访问速度)。

    鉴于上述需求,内核分配物理页面时为了尽量减少不连续情况,采用了“伙伴”关系来管理空闲页面。伙伴关系分配算法大家应该不陌生——几乎所有操作系统方面的书都会提到,我们不去详细说它了,如果不明白可以参看有关资料。这里只需要大家明白Linux中空闲页面的组织和管理利用了伙伴关系,因此空闲页面分配时也需要遵循伙伴关系,最小单位只能是2的幂倍页面大小。内核中分配空闲页面的基本函数是get_free_page/get_free_pages,它们或是分配单页或是分配指定的页面(2、4、8…512页)。

     注意:get_free_page是在内核中分配内存,不同于malloc在用户空间中分配,malloc利用堆动态分配,实际上是调用brk()系统调用,该调用的作用是扩大或缩小进程堆空间(它会修改进程的brk域)。如果现有的内存区域不够容纳堆空间,则会以页面大小的倍数为单位,扩张或收缩对应的内存区域,但brk值并非以页面大小为倍数修改,而是按实际请求修改。因此Malloc在用户空间分配内存可以以字节为单位分配,但内核在内部仍然会是以页为单位分配的。

       另外,需要提及的是,物理页在系统中由页结构struct page描述,系统中所有的页面都存储在数组mem_map[]中,可以通过该数组找到系统中的每一页(空闲或非空闲)。而其中的空闲页面则可由上述提到的以伙伴关系组织的空闲页链表(free_area[MAX_ORDER])来索引。

     

    文本框: 伙伴关系维护

    内核内存使用

    Slab

        所谓尺有所长,寸有所短。以页为最小单位分配内存对于内核管理系统中的物理内存来说的确比较方便,但内核自身最常使用的内存却往往是很小(远远小于一页)的内存块——比如存放文件描述符、进程描述符、虚拟内存区域描述符等行为所需的内存都不足一页。这些用来存放描述符的内存相比页面而言,就好比是面包屑与面包。一个整页中可以聚集多个这些小块内存;而且这些小块内存块也和面包屑一样频繁地生成/销毁。

      为了满足内核对这种小内存块的需要,Linux系统采用了一种被称为slab分配器的技术。Slab分配器的实现相当复杂,但原理不难,其核心思想就是“存储池[4]”的运用。内存片段(小块内存)被看作对象,当被使用完后,并不直接释放而是被缓存到“存储池”里,留做下次使用,这无疑避免了频繁创建与销毁对象所带来的额外负载。

    Slab技术不但避免了内存内部分片(下文将解释)带来的不便(引入Slab分配器的主要目的是为了减少对伙伴系统分配算法的调用次数——频繁分配和回收必然会导致内存碎片——难以找到大块连续的可用内存),而且可以很好地利用硬件缓存提高访问速度。

        Slab并非是脱离伙伴关系而独立存在的一种内存分配方式,slab仍然是建立在页面基础之上,换句话说,Slab将页面(来自于伙伴关系管理的空闲页面链表)撕碎成众多小内存块以供分配,slab中的对象分配和销毁使用kmem_cache_alloc与kmem_cache_free。

     

    Kmalloc

    Slab分配器不仅仅只用来存放内核专用的结构体,它还被用来处理内核对小块内存的请求。当然鉴于Slab分配器的特点,一般来说内核程序中对小于一页的小块内存的请求才通过Slab分配器提供的接口Kmalloc来完成(虽然它可分配32 到131072字节的内存)。从内核内存分配的角度来讲,kmalloc可被看成是get_free_page(s)的一个有效补充,内存分配粒度更灵活了。

    有兴趣的话,可以到/proc/slabinfo中找到内核执行现场使用的各种slab信息统计,其中你会看到系统中所有slab的使用信息。从信息中可以看到系统中除了专用结构体使用的slab外,还存在大量为Kmalloc而准备的Slab(其中有些为dma准备的)。

     

    内核非连续内存分配(Vmalloc)

     

    伙伴关系也好、slab技术也好,从内存管理理论角度而言目的基本是一致的,它们都是为了防止“分片”,不过分片又分为外部分片和内部分片之说,所谓内部分片是说系统为了满足一小段内存区(连续)的需要,不得不分配了一大区域连续内存给它,从而造成了空间浪费;外部分片是指系统虽有足够的内存,但却是分散的碎片,无法满足对大块“连续内存”的需求。无论何种分片都是系统有效利用内存的障碍。slab分配器使得一个页面内包含的众多小块内存可独立被分配使用,避免了内部分片,节约了空闲内存。伙伴关系把内存块按大小分组管理,一定程度上减轻了外部分片的危害,因为页框分配不在盲目,而是按照大小依次有序进行,不过伙伴关系只是减轻了外部分片,但并未彻底消除。你自己比划一下多次分配页面后,空闲内存的剩余情况吧。

    所以避免外部分片的最终思路还是落到了如何利用不连续的内存块组合成“看起来很大的内存块”——这里的情况很类似于用户空间分配虚拟内存,内存逻辑上连续,其实映射到并不一定连续的物理内存上。Linux内核借用了这个技术,允许内核程序在内核地址空间中分配虚拟地址,同样也利用页表(内核页表)将虚拟地址映射到分散的内存页上。以此完美地解决了内核内存使用中的外部分片问题。内核提供vmalloc函数分配内核虚拟内存,该函数不同于kmalloc,它可以分配较Kmalloc大得多的内存空间(可远大于128K,但必须是页大小的倍数),但相比Kmalloc来说,Vmalloc需要对内核虚拟地址进行重映射,必须更新内核页表,因此分配效率上要低一些(用空间换时间)

    与用户进程相似,内核也有一个名为init_mm的mm_strcut结构来描述内核地址空间,其中页表项pdg=swapper_pg_dir包含了系统内核空间(3G-4G)的映射关系。因此vmalloc分配内核虚拟地址必须更新内核页表,而kmalloc或get_free_page由于分配的连续内存,所以不需要更新内核页表。

     

    文本框: 伙伴关系维护文本框: vmalloc文本框: Kmalloc

     

    vmalloc分配的内核虚拟内存与kmalloc/get_free_page分配的内核虚拟内存位于不同的区间,不会重叠。因为内核虚拟空间被分区管理,各司其职。进程空间地址分布从0到3G(其实是到PAGE_OFFSET,在0x86中它等于0xC0000000),从3G到vmalloc_start这段地址是物理内存映射区域(该区域中包含了内核镜像、物理页面表mem_map等等)比如我使用的系统内存是64M(可以用free看到),那么(3G——3G+64M)这片内存就应该映射到物理内存,而vmalloc_start位置应在3G+64M附近(说"附近"因为是在物理内存映射区与vmalloc_start期间还会存在一个8M大小的gap来防止跃界),vmalloc_end的位置接近4G(说"接近"是因为最后位置系统会保留一片128k大小的区域用于专用页面映射,还有可能会有高端内存映射区,这些都是细节,这里我们不做纠缠)。

     

     

     

    上图是内存分布的模糊轮廓

     

       由get_free_page或Kmalloc函数所分配的连续内存都陷于物理映射区域,所以它们返回的内核虚拟地址和实际物理地址仅仅是相差一个偏移量(PAGE_OFFSET),你可以很方便的将其转化为物理内存地址,同时内核也提供了virt_to_phys()函数将内核虚拟空间中的物理映射区地址转化为物理地址。要知道,物理内存映射区中的地址与内核页表是有序对应的,系统中的每个物理页面都可以找到它对应的内核虚拟地址(在物理内存映射区中的)。

    而vmalloc分配的地址则限于vmalloc_start与vmalloc_end之间。每一块vmalloc分配的内核虚拟内存都对应一个vm_struct结构体(可别和vm_area_struct搞混,那可是进程虚拟内存区域的结构),不同的内核虚拟地址被4k大小的空闲区间隔,以防止越界——见下图)。与进程虚拟地址的特性一样,这些虚拟地址与物理内存没有简单的位移关系,必须通过内核页表才可转换为物理地址或物理页。它们有可能尚未被映射,在发生缺页时才真正分配物理页面。

     

    这里给出一个小程序帮助大家认清上面几种分配函数所对应的区域。

    #include<linux/module.h>

    #include<linux/slab.h>

    #include<linux/vmalloc.h>

    unsigned char *pagemem;

    unsigned char *kmallocmem;

    unsigned char *vmallocmem;

    int init_module(void)

    {

     pagemem = get_free_page(0);

     printk("<1>pagemem=%s",pagemem);

     kmallocmem = kmalloc(100,0);

     printk("<1>kmallocmem=%s",kmallocmem);

     vmallocmem = vmalloc(1000000);

     printk("<1>vmallocmem=%s",vmallocmem);

    }

    void cleanup_module(void)

    {

     free_page(pagemem);

     kfree(kmallocmem);

     vfree(vmallocmem);

    }

     

    实例

    内存映射(mmap)是Linux操作系统的一个很大特色,它可以将系统内存映射到一个文件(设备)上,以便可以通过访问文件内容来达到访问内存的目的。这样做的最大好处是提高了内存访问速度,并且可以利用文件系统的接口编程(设备在Linux中作为特殊文件处理)访问内存,降低了开发难度。许多设备驱动程序便是利用内存映射功能将用户空间的一段地址关联到设备内存上,无论何时,只要内存在分配的地址范围内进行读写,实际上就是对设备内存的访问。同时对设备文件的访问也等同于对内存区域的访问,也就是说,通过文件操作接口可以访问内存。Linux中的X服务器就是一个利用内存映射达到直接高速访问视频卡内存的例子。

    熟悉文件操作的朋友一定会知道file_operations结构中有mmap方法,在用户执行mmap系统调用时,便会调用该方法来通过文件访问内存——不过在调用文件系统mmap方法前,内核还需要处理分配内存区域(vma_struct)、建立页表等工作。对于具体映射细节不作介绍了,需要强调的是,建立页表可以采用remap_page_range方法一次建立起所有映射区的页表,或利用vma_struct的nopage方法在缺页时现场一页一页的建立页表。第一种方法相比第二种方法简单方便、速度快, 但是灵活性不高。一次调用所有页表便定型了,不适用于那些需要现场建立页表的场合——比如映射区需要扩展或下面我们例子中的情况。

     

    我们这里的实例希望利用内存映射,将系统内核中的一部分虚拟内存映射到用户空间,以供应用程序读取——你可利用它进行内核空间到用户空间的大规模信息传输。因此我们将试图写一个虚拟字符设备驱动程序,通过它将系统内核空间映射到用户空间——将内核虚拟内存映射到用户虚拟地址。从上一节已经看到Linux内核空间中包含两种虚拟地址:一种是物理和逻辑都连续的物理内存映射虚拟地址;另一种是逻辑连续但非物理连续的vmalloc分配的内存虚拟地址。我们的例子程序将演示把vmalloc分配的内核虚拟地址映射到用户地址空间的全过程。

    程序里主要应解决两个问题:

    第一是如何将vmalloc分配的内核虚拟内存正确地转化成物理地址?

    因为内存映射先要获得被映射的物理地址,然后才能将其映射到要求的用户虚拟地址上。我们已经看到内核物理内存映射区域中的地址可以被内核函数virt_to_phys转换成实际的物理内存地址,但对于vmalloc分配的内核虚拟地址无法直接转化成物理地址,所以我们必须对这部分虚拟内存格外“照顾”——先将其转化成内核物理内存映射区域中的地址,然后在用virt_to_phys变为物理地址。

    转化工作需要进行如下步骤:

    a)         找到vmalloc虚拟内存对应的页表,并寻找到对应的页表项。

    b)        获取页表项对应的页面指针

    c)        通过页面得到对应的内核物理内存映射区域地址

    如下图所示:

    第二是当访问vmalloc分配区时,如果发现虚拟内存尚未被映射到物理页,则需要处理“缺页异常”。因此需要我们实现内存区域中的nopaga操作,以能返回被映射的物理页面指针,在我们的实例中就是返回上面过程中的内核物理内存映射区域中的地址由于vmalloc分配的虚拟地址与物理地址的对应关系并非分配时就可确定,必须在缺页现场建立页表,因此这里不能使用remap_page_range方法,只能用vma的nopage方法一页一页的建立。

     

     

    程序组成

    map_driver.c,它是以模块形式加载的虚拟字符驱动程序。该驱动负责将一定长的内核虚拟地址(vmalloc分配的)映射到设备文件上。其中主要的函数有——vaddress_to_kaddress()负责对vmalloc分配的地址进行页表解析,以找到对应的内核物理映射地址(kmalloc分配的地址);map_nopage()负责在进程访问一个当前并不存在的VMA页时,寻找该地址对应的物理页,并返回该页的指针。

    test.c 它利用上述驱动模块对应的设备文件在用户空间读取读取内核内存。结果可以看到内核虚拟地址的内容(ok!),被显示在了屏幕上。

     

    执行步骤

    编译map_driver.c为map_driver.o模块,具体参数见Makefile

    加载模块 :insmod map_driver.o

    生成对应的设备文件

    1 在/proc/devices下找到map_driver对应的设备命和设备号:grep mapdrv /proc/devices

    2 建立设备文件mknod  mapfile c 254 0  (在我的系统里设备号为254)

        利用maptest读取mapfile文件,将取自内核的信息打印到屏幕上。

     

    转自https://blog.csdn.net/hustyangju/article/details/46330259

    展开全文
  • 深入浅出内存管理--内存管理概述

    千次阅读 2018-12-12 17:37:38
    内存管理我的理解是分为两个部分,一个是物理内存的管理,另一个部分是物理内存地址到虚拟地址的转换。 物理内存管理 内核中实现了很多机制和算法来进行物理内存的管理,比如大名鼎鼎的伙伴系统,以及slab分配器等等...

    内存管理我的理解是分为两个部分,一个是物理内存的管理,另一个部分是物理内存地址到虚拟地址的转换。

    物理内存管理

    内核中实现了很多机制和算法来进行物理内存的管理,比如大名鼎鼎的伙伴系统,以及slab分配器等等。我们知道随着Linux系统的运行,内存是不断的趋于碎片化的,内存碎片分为两种类型,一种为外碎片,所谓外碎片就是以页为单位的内存之间的碎片化,另一种为内碎片,内碎片是指同一个页面内的碎片化,那么如果来优化这种内存碎片问题呢?

    • 伙伴系统
      伙伴系统可以用来减少外碎片的,通过更加合理的分配以页为单位的内存,可以减少外碎片的产生,以尽量保持系统内存的连续性。

    • slab分配器
      slab是用于优化内碎片问题的,通过把小块内存以对象的方式管理起来,并且创建slab缓存,方便同种类型对象的分配和释放,减少了内碎片的产生,同时这些小块内存会尽可能的保持在硬件cache中,所以极大提升了访问效率。

    物理内存管理这块比较复杂,本文仅仅做一个简述,关于这两者的内核API以及实现,将在后续文章中再做介绍。

    物理地址到虚拟地址的转换

    本文只介绍内核中访问所有物理内存的方式,当前我们面对的问题是:如何物理内存映射到内核空间(3G-4G)这一段区域内?对于用户空间访问物理内存的话题,我们后续再开专门的文章进行介绍。
    内核中把物理内存的低端区域作为直接映射区,高地址区域定义为高端内存,通过一个变量high_memory来界定他们的分界线。high_memory是一个虚拟地址,定义了高端内存被允许映射到内核的起始地址。
    它在arm平台上的定义如下:

    void * high_memory;
    
    EXPORT_SYMBOL(high_memory);
    
    
    arm_lowmem_limit = lowmem_limit;
    
    high_memory = __va(arm_lowmem_limit - 1) + 1;
    
    if (!memblock_limit)
        memblock_limit = arm_lowmem_limit;
    
    

    以我的测试板子为例:

    Memory: 1030548K/1048576K available (5078K kernel code, 221K rwdata, 1624K rodata, 1584K init, 179K bss, 18028K reserved, 0K cma-reserved, 270336K highmem)
    Virtual kernel memory layout:
        vector  : 0xffff0000 - 0xffff1000   (   4 kB)
        fixmap  : 0xffc00000 - 0xfff00000   (3072 kB)
        vmalloc : 0xf0000000 - 0xff000000   ( 240 MB)
        lowmem  : 0xc0000000 - 0xef800000   ( 760 MB)
        pkmap   : 0xbfe00000 - 0xc0000000   (   2 MB)
        modules : 0xbf000000 - 0xbfe00000   (  14 MB)
          .text : 0xc0008000 - 0xc0693dd8   (6704 kB)
          .init : 0xc0694000 - 0xc0820000   (1584 kB)
          .data : 0xc0820000 - 0xc0857708   ( 222 kB)
           .bss : 0xc0857708 - 0xc0884700   ( 180 kB)
    
    

    它的虚拟内存分布如上所示。这块信息的实现代码如下:

         pr_notice("Virtual kernel memory layout:\n"
                 "    vector  : 0x%08lx - 0x%08lx   (%4ld kB)\n"
     #ifdef CONFIG_HAVE_TCM
                 "    DTCM    : 0x%08lx - 0x%08lx   (%4ld kB)\n"
                 "    ITCM    : 0x%08lx - 0x%08lx   (%4ld kB)\n"
     #endif
                 "    fixmap  : 0x%08lx - 0x%08lx   (%4ld kB)\n",
                 MLK(UL(CONFIG_VECTORS_BASE), UL(CONFIG_VECTORS_BASE) +
                     (PAGE_SIZE)),
     #ifdef CONFIG_HAVE_TCM
                 MLK(DTCM_OFFSET, (unsigned long) dtcm_end),
                 MLK(ITCM_OFFSET, (unsigned long) itcm_end),
     #endif
                 MLK(FIXADDR_START, FIXADDR_END));
     #ifdef CONFIG_ENABLE_VMALLOC_SAVING
         print_vmalloc_lowmem_info();
     #else
         printk(KERN_NOTICE
                "    vmalloc : 0x%08lx - 0x%08lx   (%4ld MB)\n"
                "    lowmem  : 0x%08lx - 0x%08lx   (%4ld MB)\n",
                 MLM(VMALLOC_START, VMALLOC_END),
                 MLM(PAGE_OFFSET, (unsigned long)high_memory));
     #endif
         printk(KERN_NOTICE
     #ifdef CONFIG_HIGHMEM
                "    pkmap   : 0x%08lx - 0x%08lx   (%4ld MB)\n"
     #endif
     #ifdef CONFIG_MODULES
                "    modules : 0x%08lx - 0x%08lx   (%4ld MB)\n"
     #endif
                "      .text : 0x%p" " - 0x%p" "   (%4d kB)\n"
                "      .init : 0x%p" " - 0x%p" "   (%4d kB)\n"
                "      .data : 0x%p" " - 0x%p" "   (%4d kB)\n"
                "       .bss : 0x%p" " - 0x%p" "   (%4d kB)\n",
     #ifdef CONFIG_HIGHMEM
                 MLM(PKMAP_BASE, (PKMAP_BASE) + (LAST_PKMAP) *
                     (PAGE_SIZE)),
     #endif
     #ifdef CONFIG_MODULES
                 MLM(MODULES_VADDR, MODULES_END),
     #endif
     
                 MLK_ROUNDUP(_text, _etext),
                 MLK_ROUNDUP(__init_begin, __init_end),
                 MLK_ROUNDUP(_sdata, _edata),
                 MLK_ROUNDUP(__bss_start, __bss_stop));
     
    
    

    我们通过上面机器的启动log打印出来的memory layout可以知道,在3G以下的区域也是被内核数据所占用了,可是上面不是说用户空间是0-3G吗?这里不会被用户所占用导致冲突吗?
    实际上,用户空间的映射区定义如下:

    00001000    TASK_SIZE-1 User space mappings
                    Per-thread mappings are placed here via
                    the mmap() system call.
    
    

    这里TASK_SIZE实际上并不是PAGE_OFFSET-1,而是中间间隔了一段区域(16M):

    /*
     * TASK_SIZE - the maximum size of a user space task.
     * TASK_UNMAPPED_BASE - the lower boundary of the mmap VM area
     */
    #define TASK_SIZE       (UL(CONFIG_PAGE_OFFSET) - UL(SZ_16M))
    #define TASK_UNMAPPED_BASE  ALIGN(TASK_SIZE / 3, SZ_16M)
    
    

    低端内存映射

    内核空间1G的虚拟空间,其中有一部分用于直接映射,线性映射区,在arm32平台上,物理地址[0:760M]这部分内存被线性的映射到[3G:3G+760M]的虚拟地址上,剩余的264M虚拟地址做什么呢?
    是保留给高端内存映射使用的,这部分是能够动态分配和释放的,因为平台上实际的物理内存可能会超过1G,那么内核必须要具有能够寻址到整个物理内存的能力。线性映射区在启动时就完成了页表的创建,没有必要再过多介绍。
    测试平台上的线性映射区域:

     lowmem  : 0xc0000000 - 0xef800000   ( 760 MB)
    

    对应的解释如下:

     PAGE_OFFSET high_memory-1   Kernel direct-mapped RAM region.
                     This maps the platforms RAM, and typically
                     maps all platform RAM in a 1:1 relationship.
    

    高端内存映射

    针对高端内存的映射,内核又划分了多个区域,因为需要在264M有限的区域内去访问除了760M之外的所有物理内存,所以这部分相比线性映射区将变得更加复杂。内核有三种方式用于将高端内存映射到内核空间,分别是pkmap、fixmap和vmalloc。

    • pkmap

    测试平台上的数据如下:

     pkmap   : 0xbfe00000 - 0xc0000000   (   2 MB)
    

    说明:

     PKMAP_BASE  PAGE_OFFSET-1   Permanent kernel mappings
                     One way of mapping HIGHMEM pages into kernel
                     space.
    

    永久内核映射区,映射高端内存到内核空间的一种方式。pkmap在用于映射高端物理内存的,当我们从伙伴系统中分配到高端内存后,是无法直接操作的,必须要经过map操作,此时就可以使用pkmap,它对应的
    内核API为

     void *kmap(struct page *page);
    

    传入的是一个物理内存页对应的struct page结构体,返回一个虚拟地址。使用方法如下:
    使用alloc_pages()在高端存储器区得到struct page结构,然后调用kmap(struct *page)在内核地址空间[PKMAP_BASE : PAGE_OFFSET-1]中建立永久映射,如果page结构对应的是低端物理内存的页,该函数仅仅返回该页对应的虚拟地址。
    另外需要注意kmap()可能引起睡眠,所以不能用在中断和持有锁的代码中使用。从使用方法上我们知道,它是针对struct page来进行的操作,所以至少会映射一个page。

    • fixmap
      测试平台上的数据如下:
    fixmap  : 0xffc00000 - 0xfff00000   (3072 kB)
    

    说明:

    ffc00000    ffefffff    Fixmap mapping region.  Addresses provided
                    by fix_to_virt() will be located here.
    
    

    fixmap也叫临时映射区,他是一个固定的一块虚拟空间用于映射不同的物理地址,并且是在申请时使用,不用时释放。它于pkmap的区别在于这块地址的映射不会引起睡眠,是可以在中断和持有锁的代码中运行的,它的内核API如下:

    void *kmap_atomic(struct page *page);
    
    • vmalloc

    测试平台上的数据如下:

     vmalloc : 0xf0000000 - 0xff000000   ( 240 MB)
     lowmem  : 0xc0000000 - 0xef800000   ( 760 MB)
    

    说明:

     VMALLOC_START   VMALLOC_END-1   vmalloc() / ioremap() space.
                     Memory returned by vmalloc/ioremap will
                     be dynamically placed in this region.
                     Machine specific static mappings are also
                     located here through iotable_init().
                     VMALLOC_START is based upon the value
                     of the high_memory variable, and VMALLOC_END
                     is equal to 0xff800000.
    

    从平台打印的数据来看,vmalloc和lowmem线性映射区并没有完全紧靠着,而是中间有一个hole空洞(8M),这个8M的空间是为了捕获越界访问的。
    vmalloc会分配非连续物理内存,这里的非连续指的是物理内存不连续,虚拟地址是连续的,优先使用高端内存来分配物理页,如果分配失败,才会从Normal zone分配。这个接口和上面的都不同,它会自动分配物理内存,然后完成映射后直接返回虚拟地址,而上面两个都是只进行映射。

    void *vmalloc(unsigned long size);
    
    展开全文
  • 操作系统-内存管理

    万次阅读 多人点赞 2019-11-25 13:34:03
    文章目录一、内存管理1.1 内存的基础知识1.1.1 什么是内存,有何作用1.1.2 进程运行的原理-指令1.1.3 逻辑地址VS物理地址1.1.4 进程运行的基本原理(从写程序到程序运行)1.1.5 装入内存的三种方式1.1.5 链接的三种...

    文章目录

    一、内存管理

    1.1 内存的基础知识

    1.1.1 什么是内存,有何作用

    在这里插入图片描述

    1.1.2 进程运行的原理-指令

    在这里插入图片描述
    可见,我们写的代码要翻译成CPU能识别的指令。这些指令会告诉CPU应该去内存的哪个地址存/取数据,这个数据应该做什么样的处理。在这个例子中,指令中直接给出了变量x的实际存放地址(物理地址)。但实际在生成机器指令的时候并不知道该进程的数据会被放到什么位置。所以编译生成的指令中一般是使用逻辑地址(相对地址)

    1.1.3 逻辑地址VS物理地址

    Eg:编译时只需确定变量x存放的相对地址是100 ( 也就是说相对于进程在内存中的起始地址而言的地址)。CPU想要找到x在内存中的实际存放位置,只需要用进程的起始地址+100即可。
    相对地址又称逻辑地址,绝对地址又称物理地址。

    1.1.4 进程运行的基本原理(从写程序到程序运行)

    在这里插入图片描述
    编译:由编译程序将用户源代码编译成若千个目标模块(编译就是把高级语言翻译为机器语言)

    链接:由链接程序将编译后形成的一组目标模块,以及所需库函数链接在一起,形成- -个完整的装入模块装入(装载) :由装入程序将装入模块装入内存运行
    在这里插入图片描述
    在这里插入图片描述

    1.1.5 装入内存的三种方式

    1. 绝对装入:在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址,将程序和数据装入内存。
      绝对装入由于逻辑与实际内存地址相同,故不需要对程序和数据的地址进行修改。绝对装入只适用于单道程序环境,绝对地址可由程序员在编译或者汇编时赋予。
      在这里插入图片描述
    2. 可重定位装入:在多道程序环境下,多个目标模块的起始地址通常都是从0开始,程序中的其他地址都是相对于起始地址的,此时采用可重定位装入方式,根据内存的目前情况,将装入模块装入到内存的适当位置。装入时对目标程序中指令和数据的修改称为重定位,地址变换通常是在装入时一次完成的。所以又称静态重定位。
      静态重定位的特点是在一个作业装入内存时,必须分配其要求的全部内存空间,如果没有足够的内存,就不能装入该作业,此外,作业一旦进入内存后,在整个运行期间不能在内存中移动。
      在这里插入图片描述
    3. 动态运行时装入:也称为动态重定位,程序在内存中如果发生移动,就需要采用动态的装入方式。编译、链接后的装入模块的地址都是从0开始的。装入程序在把装入模块装入内存后,并不立即把装入模块中的相对地址转换成绝对地址,而是把这种地址转换推迟到程序真正要执行时才进行。因此,装入内存后的所有地址均为相对地址。这种方式需要一个重定位寄存器的支持
      动态重定位的特点是可以将程序分配到不连续的存储区中,在程序运行之前可以只装入它的部分代码即可投入运行,然后在程序运行期间,根据需要动态申请分配的内存,便于程序段的共享,可以向用户提供一个比存储空间大得多的地址空间。
      在这里插入图片描述
      在这里插入图片描述

    1.1.5 链接的三种方式

    1. 静态链接:在程序运行之前,先将各目标模块及它们所需的库函数连接成-一个完整的可执行文件(装入模块),之后不再拆开。
      在这里插入图片描述
      2.装入时动态链接:将用户源程序编译后所得到的一组目标模块,将各目标模块装入内存时,边装入边链接的链接方式。
      在这里插入图片描述
      3.运行时动态链接:对某些目标模块的链接,是在程序执行中需要该目标模块时,才对它进行的链接,其优点是便于修改和更新,便于实现对目标模块的共享。
      在这里插入图片描述

    1.1.6 总结

    在这里插入图片描述

    1.2 内存管理的概念

    操作系统作为系统资源的管理者,当然也需要对内存进行管理,要管些什么呢?

    1. 操作系统负责内存空间的分配与回收。
    2. 操作系统需要提供某种技术从逻辑.上对内存空间进行扩充。
    3. 操作系统需要提供地址转换功能,负责程序的逻辑地址与物理地址的转换
    4. 操作系统需要提供内存保护功能。保证各进程在各自存储空间内运行,互不干扰

    1.2.1 内存空间的分配与回收

    内存空间的分配与回收:由操作系统完成主存储器空间的分配和管理,使程序员摆脱存储分配麻烦,提高编程效率。
    在这里插入图片描述

    1.2.2 内存空间的扩展

    内存空间的扩充:利用虚拟存储技术或者自动覆盖技术,从逻辑上扩充内存。

    游戏GTA的大小超过60GB,按理来说这个游戏程序运行之前需要把60GB数据全部放入内存。然而,实际我的电脑内存才4GB, 但为什么这个游戏可以顺利运行呢?
    –虚拟技术(操作系统的虚拟性)

    1.2.3 地址转换

    地址转换:在多道程序环境下,程序中的逻辑地址与内存中的物理地址不可能一致,因此存储管理器必须提供地址变换功能,把逻辑地址转换成相应的物理地址。

    为了使编程更方便,程序员写程序时应该只需要关注指令、数据的逻辑地址。而逻辑地址到物理地址的转换(这个过程称为地址重定位(三种装入方式))应该由操作系统负责,这样就保证了程序员写程序时不需要关注物理内存的实际情况。
    在这里插入图片描述

    1.2.4 内存保护

    存储保护:保证各道作业在各自的存储空间内运行,互不干扰。

    两种方式:

    1.CPU中设置一对上,下限寄存器,存放用户作业在主存中的下限和上限,每当CPU要访问一个地址时,分别和两个寄存器的值相比,判断有无越界。

    2.通过采用重定位寄存器(或基址寄存器)和界地址寄存器(又称限长寄存器)来实现这种保护,重定位寄存器含最小的物理地址值,界地址寄存器含逻辑地址的最大值,每个逻辑地址值必须小于界地址寄存器,内存管理机构动态的将逻辑地址与界地址寄存器进行比较,如果未发生地址越界。则加上重定位寄存器的值后映射成物理地址,再送交内存单元。
    在这里插入图片描述
    在这里插入图片描述

    1.2.5 总结

    在这里插入图片描述

    1.3 内存的覆盖与交换

    1.3.1 覆盖技术

    由于程序运行时并非任何时候都要访问程序及数据的各个部分(尤其是大程序),因此可以把用户空间分成为一个固定区和若干个覆盖区。将经常活跃的部分放在固定区,其余部分按照调用关系分段,首先将那些即将要访问的段放入覆盖区,其他段放在外存中,在需要调用前,系统将其调如覆盖区,替换覆盖区中原有的段。

    覆盖技术的特点:是打破了必须将一个进程的全部信息装入内存后才能运行的限制,但当同时运行程序的代码量大于主存时仍不能运行,再而,大家要注意到,内存中能够更新的地方只有覆盖区的段,不在覆盖区的段会常驻内存。

    早期的计算机内存很小,比如IBM推出的第一台PC机最大只支持1MB大小的内存。因此经常会出现内存大小不够的情况。后来人们引入了覆盖技术,用来解决“程序大小超过物理内存总和”的问题
    覆盖技术的思想:将程序分为多个段(多个模块)。常用的段常驻内存,不常用的段在需要时调入内存。
    内存中分为一个“固定区”和若干个“覆盖区”
    需要常驻内存的段放在“固定区”中,调入后就不再调出(除非运行结束)
    不常用的段放在“覆盖区”,需要用到时调入内存,用不到时调出内存
    在这里插入图片描述
    必须由程序员声明覆盖结构,操作系统完成自动覆盖。缺点:对用户不透明,增加了用户编程负担。覆盖技术只用于早期的操作系统中,现在已成为历史。

    1.3.2 交换技术

    交换(对换)技术的设计思想:内存空间紧张时,系统将内存中某些进程暂时换出外存,把外存中某些已具备运行条件的进程换入内存(进程在内存与磁盘间动态调度)

    换入:把准备好竞争CPU运行的程序从辅存移到内存。
    换出:把处于等待状态(或CPU调度原则下被剥夺运行权力)的程序从内存移到辅存,把内存空间腾出来。
    在这里插入图片描述
    暂时换出外存等待的进程状态为挂起状态(挂起态,suspend),挂起态又可以进–步细分为就绪挂起阻塞挂起两种状态。
    在这里插入图片描述

    1. 应该在外存(磁盘)的什么位置保存被换出的进程?
      答:具有对换功能的操作系统中,通常把磁盘空间分为文件区对换区两部分。文件区主要用于存放文件,主要追求存储空间的利用率,因此对文件区空间的管理采用离散分配方式;对换区空间只占磁盘空间的小部分,被换出的进程数据就存放在对换区。由于对换的速度直接影响到系统的整体速度,因此对换区空间的管理主要追求换入换出速度,因此通常对换区采用连续分配方式(学过文件管理章节后即可理解)。总之,对换区的I/O速度比文件区的更快

    2. 什么时候应该交换?
      答:交换通常在许多进程运行且内存吃紧时进行,而系统负荷降低就暂停。例如:在发现许多进程运行时经常发生缺页,就说明内存紧张,此时可以换出一些进程;如果缺页率明显下降,就可以暂停换出。

    3. 应该换出哪些进程?
      答:可优先换出阻塞进程;可换出优先级低的进程;为了防止优先级低的进程在被调入内存后很快又被换出,有的系统还会考虑进程在内存的驻留时间…
      (注意: PCB 会常驻内存,不会被换出外存)

    注意:

    1. 交换需要备份存储,通常是快速磁盘,它必须足够大,并且提供对这些内存映像的直接访问。
    2. 为了有效使用CPU,需要每个进程的执行时间比交换时间长,而影响交换时间的主要是转移时间,转移时间与所交换的空间内存成正比。
    3. 如果换出进程,比如确保该进程的内存空间成正比。
    4. 交换空间通常作为磁盘的一整块,且独立于文件系统,因此使用就可能很快。
    5. 交换通常在有许多进程运行且内存空间吃紧时开始启动,而系统负荷降低就暂停。
    6. 普通交换使用不多,但交换的策略的某些变种在许多系统中(如UNIX系统)仍然发挥作用。

    交换技术主要是在不同进程(或作业)之间进行,而覆盖则用于同一程序或进程中。

    1.3.3 总结

    在这里插入图片描述

    1.4 连续分配管理方式

    1.4.1 单一连续分配

    内存在此方式下分为系统区用户区
    系统区仅提供给操作系统使用,通常在低地址部分;
    用户区是为用户提供的,除系统区之外的内存空间,我们平常运行的软件都在用户区里分配空间。

    优点:无外部碎片,可以采用覆盖技术,不需要额外技术支持。
    缺点:只能用于单用户,单任务操作系统中,有内部碎片,存储器利用率极低。

    在这里插入图片描述

    1.4.2 固定分区分配

    固定分区分配是最简单的一种多道程序存储管理方式,它将用户内存空间划分为若干个固定大小的区域,每个分区只装入一道作业。当有空闲分区时,便可以再从外存的后背作业队列中,选择适当大小的作业装入该分区,如此循环。
    在这里插入图片描述
    在这里插入图片描述

    1. 分区大小相等:用于利用一台计算机控制多个相同对象的场合,缺乏灵活性
    2. 分区大小不等:划分为含有多个较小的分区,适量的中等分区及少量的大分区。
      优点:1.没有外部碎片
      缺点:1.程序可能太大而放不进任何一个分区中,这时用户不得不使用覆盖技术来使用内存空间。
    3. 主存利用率低,当程序小于固定分区大小时,也占用一个完整的内存分区空间,这样分区内部有空间浪费,这种现象称为内部碎片。
    4. 不能多个进程共享一个主存区

    1.4.3 动态分区分配

    动态分区分配又称为可变分区分配,是一种动态划分内存的分区方法。这种分配方式不会预先划分内存分区,而是在进程装入内存时, 根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。(eg: 假设某计算机内存大小为64MB, 系统区8MB,用户区共56 M…)
    !在这里插入图片描述
    缺点:外部随便很多(通过紧凑消除,就是操作系统不时地对进程进行移动和整理。但是这需要动态重定位寄存器地支持,且相对费时。紧凑地过程实际上类似于Windows系统中地磁盘整理程序,只不过后者是对外存空间地紧凑)

    1.系统要用什么样的数据结构记录内存的使用情况?
    在这里插入图片描述
    2.当很多个空闲分区都能满足需求时,应该选择哪个分区进行分配?

    在这里插入图片描述
    3.如何进行分区的分配与回收操作? 假设系统采用的数据结构是“空闲分区表”如何分配?
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区,而是在进程装入内存时,根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。
    在这里插入图片描述

    1.4.4 总结

    在这里插入图片描述

    1.5 动态分区分配算法

    1.首次适应算法
    2.最佳适应算法
    3.最坏适应算法
    4.邻近适应

    1.5.1 首次适应算法

    算法思想:每次都从低地址开始查找,找到第–个能满足大小的空闲分区。

    如何实现:空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链( 或空闲分[表),找到大小能满足要求的第-一个空闲分区。
    在这里插入图片描述

    1.5.2 最佳适应算法

    算法思想:由于动态分区分配是一种连续分配方式,为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区,即,优先使用更小的空闲区。

    如何实现:空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第-一个空闲分区。
    在这里插入图片描述

    1.5.3 最坏适应算法

    又称最大适应算法(Largest Fit)

    算法思想:为了解决最佳适应算法的问题—即留下太多难以利用的小碎片,可以在每次分配时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。

    如何实现:空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第-一个空闲分区。
    在这里插入图片描述

    1.5.4 邻近适应算法

    算法思想:首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,就能解决上述问题。

    如何实现:空闲分区以地址递增的顺序排列(可排成-一个循环链表)。每次分配内存时从上次查找结束的位置开始查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
    在这里插入图片描述

    1.5.5 总结

    首次适应不仅最简单,通常也是最好最快,不过首次适应算法会使得内存低地址部分出现很多小的空闲分区,而每次查找都要经过这些分区,因此也增加了查找的开销。邻近算法试图解决这个问题,但实际上,它常常会导致在内存的末尾分配空间分裂成小的碎片,它通常比首次适应算法结果要差。

    最佳导致大量碎片,最坏导致没有大的空间。

    进过实验,首次适应比最佳适应要好,他们都比最坏好。

    算法 算法思想 分区排列顺序 优点 缺点
    首次适应 从头到尾找适合的分区 空闲分区以地址递增次序排列 综合看性能最好。算法开销小,回收分区后一.般不需要对空闲分区队列重新排序
    最佳适应 优先使用更小的分区,以保留更多大分区 空闲分区以容量递增次序排列 会有更多的大分区被保留下来,更能满足大进程需求 会产生很多太小的、难以利用的碎片;算法开销大,回收分区后可能需要对空闲分区队列重新排序
    最坏适应 优先使用更大的分区,以防止产生太小的不可用的碎片 空闲分区以容量递减次序排列 可以减少难以利用的小碎片 大分区容易被用完,不利于大进程;算法开销大(原因同上)
    邻近适应 由首次适应演变而来,每次从上次查找结束位置开始查找 空闲分区以地址递增次序排列(可排列成循环链表) 不用每次都从低地址的小分区开始检索。算法开销小(原因同首次适应算法) 会使高地址的大分区也被用完

    1.6 基本分页存储管理的基本概念

    在前面的几种存储管理方法中,为进程分配的空间是连续的,使用的地址都是物理地址。如果允许将一个进程分散到许多不连续的空间,就可以避免内存紧缩,减少碎片。基于这一思想,通过引入进程的逻辑地址,把进程地址空间与实际存储空间分离,增加存储管理的灵活性。

    1.6.1 连续分区分配方式的缺点

    在这里插入图片描述

    1.6.2 把"固定分区分配"改成"非连续分配版本"

    非连续分配管理

    需要额外地空间存储(分散区域)地索引,使得非连续分配地方式存储密度低于连续存储方式。
    根据分区大小是否固定分为分页存储管理方式和分段存储管理方式。

    根据分配时所采用的基本单位不同,可将离散分配的管理方式分为以下三种:
    页式存储管理、段式存储管理、段页式存储管理。其中段页式存储管理是前两种结合的产物。
    在这里插入图片描述
    根据分区大小是否固定分为分页存储管理方式和分段存储管理方式。

    1.6.3 分页存储管理的基本概念

    在这里插入图片描述
    1.分页存储管理方式(根据是否把所有页面都装入内存分为)

    1.1 基本分页存储管理
    1.2请求分页存储管理

    分页的方法形式上看,像分区相等的固定分区技术,分页管理不会产生外部碎片,但它又又本质不同点:块的大小相对分区要小很多,而且进程页按照块进行划分,进程运行时按块申请主存可用空间执行。每个进程平均只产生半个块大小的内部碎片(也称页内碎片)

    进程中的块称为页,内存中的块称为页框(页帧),外存页以同样的单位进行划分,直接称为块。
    页面过小页表占用空间大,页面过大,碎片大。

    页式管理只需要给出一个整数就能确定对应的物理地址,这是因为页面大小L是固定的,因此,页式管理中地址空间是一维空间。

    1.6.4 如何实现地址的转换

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    如何计算:
    页号=逻辑地址/页面长度(取除法的整数部分)
    页内偏移量=逻辑地址%页面长度(取除法的余数部分)(为了方便计算页号、页内偏移量 重页面大小一般要为2的整数幂)

    假设用32个二进制位表示逻辑地址,页面大小为2^12 B = 4096B = 4KB

    0号页的逻辑地址空间应该是0~4095,用二进制表示应该是:
    0000 0000 0000 0000 0000 0000 0000 0000 ~ 0000 0000 0000 0000 0000 1111 1111 1111

    1号页的逻辑地址空间应该是4096~8191, 用二进制表示应该是:
    0000 0000 0000 0000 0001 0000 0000 0000 ~ 0000 0000 0000 0000 0001 1111 1111 1111

    2号页的逻辑地址空间应该是8192~12287, 用二进制表示应该是:
    0000 0000 0000 0000 0100 0000 0000 0000 ~ 0000 0000 0000 0000 0101 1111 1111 1111

    Eg:逻辑地址2,用二进制表示应该是0000 0000 0000 0000 0000 0000 0000 0010
    若0号页在内存中的起始地址为X,则逻辑地址2对应的物理地址应该是X+0000 0000 0100
    与另一种算法的结果对比:页号=逻辑地址/页面长度,页内偏移量=逻辑地址%页面长度

    Eg:逻辑地址4097,用-二进制表示应该是 0000 0000 0000 0000 0001 0000 0000 0001
    若1号页在内存中的起始地址为X,则逻辑地址4097 对应的物理地址应该是X+0000 0000 0001

    假设用32个二进制位表示逻辑地址,页面大小为2^10 B = 1024B = 1KB

    0号页的逻辑地址空间应该是0~1023,用二进制表示应该是:
    0000 0000 0000 0000 0000 0000 0000 0000 ~ 0000 0000 0000 0000 0000 0011 1111 1111

    1号页的逻辑地址空间应该是1024~2047, 用二进制表示应该是:
    0000 0000 0000 0000 0000 0100 0000 0000 ~ 0000 0000 0000 0000 0000 0111 1111 1111

    2号页的逻辑地址空间应该是2048~3021, 用二进制表示应该是:
    0000 0000 0000 0000 0000 1000 0000 0000 ~ 0000 0000 0000 0000 0000 1011 1100 1101

    结论:如果每个页面大小为2^K B,用二进制数表示逻辑地址,则末尾K位即为页内偏移量,其余部分就是页号
    因此,如果让每个页面的大小为2的整数幂,计算机就可以很方便地得出一个逻辑地址对应的页号和页内偏移量。

    1.6.4 逻辑地址结构

    在这里插入图片描述

    1.6.5 页表

    为了能知道进程的每个页面在内存中存放的位置,操作系统要为每个进程建立–张页表。
    在这里插入图片描述
    为什么每个页表项的长度是相同的,页号是“隐含”的?

    Eg:假设某系统物理内存大小为4GB,页面大小为4KB,则每个页表项至少应该为多少字节?

    4GB= 2^32 B,4KB= 2^12 B
    因此4GB的内存总共会被分为2^32/ 2^12= 220个内存块,因此内存块号的范围应该是0~220 -1,因此至少要20个二进制位才能表示这么多的内存块号,因此至少要3个字节才够
    (每个字节8个二进制位,3个字节共24个二进制位)
    在这里插入图片描述

    1.6.6 总结

    在这里插入图片描述

    1.7 基本地址变换结构

    1.7.1 基本地址变换机构

    基本地址变换机构可以借助进程的页表将逻辑地址转换为物理地址。

    通常会在系统中设置一个页表寄存器(PTR),存放页表在内存中的起始地址F页表长度M。进程未执行时,页表的始址和页表长度放在进程控制块(PCB) 中,当进程被调度时,操作系统内核会把它们放到页表寄存器中。

    注意:页面大小是2的整数幂
    设页面大小为L,逻辑地址A到物理地址E的变换过程如下:
    在这里插入图片描述
    在这里插入图片描述
    例:若页面大小L为1K字节,页号2对应的内存块号b=8,将逻辑地址A=2500转换为物理地址E。
    等价描述:某系统按字节寻址,逻辑地址结构中,页内偏移量占10位(说明一个页面的大小为2^10B = 1KB),页号2对应的内存块号 b=8,将逻辑地址A=2500转换为物理地址E。

    ①计算页号、页内偏移量
    页号P=A/L = 2500/1024 = 2; 页内偏移量W= A%L = 2500%1024 = 452

    ②根据题中条件可知,页号2没有越界,其存放的内存块号b=8

    ③物理地址E=b*L+W=8 * 1024+ 425 = 8644

    在分页存储管理(页式管理)的系统中,只要确定了每个页面的大小,逻辑地址结构就确定了。因此,页式管理中地址是-维的。即,只要给出一个逻辑地址,系统就可以自动地算出页号、页内偏移量两个部分,并不需要显式地告诉系统这个逻辑地址中,页内偏移量占多少位。

    1.7.2 对页表项大小的进一步探讨

    在这里插入图片描述
    在这里插入图片描述

    1.7.3 总结

    在这里插入图片描述

    1.8 具有快表的地址变换机构

    1.8.1 局部性原理

    在这里插入图片描述

    1.8.2 什么是快表

    快表,又称联想寄存器(TLB) ,是一种访问速度比内存快很多的高速缓冲存储器,用来存放当前访问的若干页表项,以加速地址变换的过程。与此对应,内存中的页表常称为慢表
    在这里插入图片描述

    1.8.3 引入快表后,地址的转换过程

    ①CPU给出逻辑地址,由某个硬件算得页号、页内偏移量,将页号与快表中的所有页号进行比较。②如果找到匹配的页号,说明要访问的页表项在快表中有副本,则直接从中取出该页对应的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表命中,则访问某个逻辑地址仅需一次访存即可。
    ③如果没有找到匹配的页号,则需要访问内存中的页表,找到对应页表项,得到页面存放的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表未命中,则访问某个逻辑地址需要两次访存(注意:在找到页表项后,应同时将其存入快表,以便后面可能的再次访问。但若快表已满,则必须按照-定的算法对旧的页表项进行替换)

    由于查询快表的速度比查询页表的速度快很多,因此只要快表命中,就可以节省很多时间。
    因为局部性原理,–般来说快表的命中率可以达到90%以上。

    例:某系统使用基本分页存储管理,并采用了具有快表的地址变换机构。访问- -次快表耗时1us, 访问一次内存耗时100us。若快表的命中率为90%,那么访问一个逻辑地址的平均耗时是多少?
    (1+100) * 0.9 + (1+100+100) * 0.1 = 111 us
    有的系统支持快表和慢表同时查找,如果是这样,平均耗时应该是(1+100) * 0.9+ (100+100) *0.1=110.9 us
    若未采用快表机制,则访问一个逻辑地址需要100+100 = 200us
    显然,引入快表机制后,访问一个逻辑地址的速度快多了。

    1.8.4 总结

    地址变换过程 访问一个逻辑地址的访存次数
    基本地址变换机构 ①算页号、页内偏移量
    ②检查页号合法性
    ③查页表,找到页面存放的内存块号
    ④根据内存块号与页内偏移量得到物理地址
    ⑤访问目标内存单元
    两次访存
    具有快表的地址变换机构 ①算页号、页内偏移量
    ②检查页号合法性
    查快表。若命中,即可知道页面存放的内存块号,可直接进行⑤;若未命中则进行④
    ④查页表,找到页面存放的内存块号,并且将页表项复制到快表中
    ⑤根据内存块号与页内偏移量得到物理地址
    ⑥访问目标内存单元
    快表命中,只需一次访存
    快表未命中,需要两次访存

    1.9 两级页表

    1.9.1 单级页表的问题

    在这里插入图片描述
    根据局部性原理可知,很多时候,进程在一段时间内只需要访问某几个页面就可以正常运行了,因此没有必要让整个页表都常驻内存。

    1.9.2 如何解决单级页表的问题

    在这里插入图片描述
    在这里插入图片描述

    1.9.3 两级页表的原理、地址结构

    在这里插入图片描述
    在这里插入图片描述

    1.9.4 如何实现地址转换

    在这里插入图片描述

    1.9.5 需要注意的问题

    在这里插入图片描述

    1.9.6 总结

    在这里插入图片描述

    1.10 基本分段存储管理方式

    1.10.1 分段

    进程的地址空间:按照程序自身的逻辑关系划分为若千个段,每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址

    内存分配规则:以段为单位进行分配,每个段在内存中占据连续空间,但各段之间可以不相邻
    在这里插入图片描述
    在这里插入图片描述

    1.10.2 段表

    问题:程序分多个段,各段离散地装入内存,为了保证程序能正常运行,就必须能从物理内存中找到各个逻辑段的存放位置。为此,需为每个进程建立- -张段映射表,简称“段表
    在这里插入图片描述

    1.10.3 地址转换

    在这里插入图片描述
    在这里插入图片描述

    1.10.3 分段、分页管理的对比

    1. 信息的物理单位。分页的主要目的是为了实现离散分配,提高内存利用率。分页仅仅是系统管理.上的需要,完全是系统行为,对用户是不可见的信息的逻辑单位。分段的主要目的是更好地满足用户需求。-一个段通常包含着一-组属于一个逻辑模块的信息。分段对用户是可见的,用户编程时需要显式地给出段名。
    2. 页的大小固定且由系统决定。段的长度却不固定,决定于用户编写的程序
    3. 分段的方法中,每次程序运行时总是把程序全部装入内存,而分页的方法则有所不同。分页的思想是程序运行时用到哪页就为哪页分配内存,没用到的页暂时保留在硬盘上。当用到这些页时再在物理地址空间中为这些页分配内存,然后建立虚拟地址空间中的页和刚分配的物理内存页间的映射。
    4. 分页的用户进程地址空间是一维的,程序员只需给出一个记忆符即可表示一个地址。分段的用户进程地址空间是二维的,程序员在标识一个地址时,既要给出段名,也要给出段内地址。
      在这里插入图片描述
    5. 分段比分页更容易实现信息的共享和保护。不能被修改的代码称为纯代码或可重入代码(不属于临界资源),这样的代码是可以共享的。可修改的代码是不能共享的
      在这里插入图片描述
      在这里插入图片描述
      访问一个逻辑地址需要几次访存?
      分页(单级页表) :第一次访存–查内存中的页表,第二次访存一-访问目标内存单元。总共两次访存
      分段:第一次访存–查内存中的段表,第二次访存–访问目标内存单元。总共两次访存
      与分页系统类似,分段系统中也可以引入快表机构,将近期访问过的段表项放到快表中,这样可以少一.次访问,加快地址变换速度。

    1.10.4 总结

    在这里插入图片描述

    1.11 段页式管理方式

    1.11.1 分页、分段的优缺点分析

    在这里插入图片描述

    1.11.2 分段+分页=段页式管理

    在这里插入图片描述
    将进程按逻辑模块分段,再将各段分页(如每个页面4KB )再将内存空间分为大小相同的内存块/页框/页帧/物理块进程前将各页面分别装入各内存块中

    1.11.3 段页式管理的逻辑地址结构

    在这里插入图片描述

    1.11.4 段表、页表

    在这里插入图片描述
    在这里插入图片描述

    1.11.4 总结

    在这里插入图片描述

    二 虚拟内存

    2.1 虚拟内存的基本概念

    2.1.1 传统存储管理方式的特征、缺点

    在这里插入图片描述
    一次性(可用虛拟存储技术解决问题):作业必须一次性全部装入内存后才能开始运行。这会造成两个问题:①作业很大时,不能全部装入内存,导致大作业无法运行;②当大量作业要求运行时,由于内存无法容纳所有作业,因此只有少量作业能运行,导致多道程序并发度下降
    驻留性:一旦作业被装入内存,就会- 直驻留在内存中,直至作业运行结束。事实上,在一个时间段内,只需要访问作业的一-小部分数据即可正常运行,这就导致了内存中会驻留大量的、暂时用不到的数据,浪费了宝贵的内存资源。

    2.1.2 局部性原理

    时间局部性:如果执行了程序中的某条指令,那么不久后这条指令很有可能再次执行;如果某个数据被访问过,不久之后该数据很可能再次被访问。(因为程序中存在大量的循环)
    空间局部性:一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也很有可能被访问。(因为很多数据在内存中都是连续存放的,并且程序的指令也是顺序地在内存中存放的)
    在这里插入图片描述

    2.1.3 虚拟内存的定义和特征

    基于局部性原理,在程序装入时,可以将程序中很快会用到的部分装入内存,暂时用不到的部分留在外存,就可以让程序开始执行。
    在程序执行过程中,当所访问的信息不在内存时, 由操作系统负责将所需信息从外存调入内存,然后继续执行程序。
    若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存
    在操作系统的管理下,在用户看来似乎有-一个比实际内存大得多的内存,这就是虚拟内存(操作系统虚拟性的一个体现,实际的物理内存大小没有变,只是在逻辑.上进行了扩充)

    易混知识点:
    虚拟内存的最大容量是由计算机的地址结构(CPU寻址范围)确定的
    虚拟内存的实际容量= min (内存和外存容量之和,CPU寻址范围)

    如:某计算机地址结构为32位,按字节编址,内存大小为512MB,外存大小为2GB。
    则虚拟内存的最大容量为2^32 B = 4GB
    虚拟内存的实际容量= min (2^32 B, 512MB+2GB) = 2GB+512MB

    虚拟内存有以下三个主要特征

    多次性:无需在作业运行时一次性全部装入内存,二十运行被分成多次调入内存
    对换性:在作业运行时无需一直常驻内存,而是允许在作业运行过程中,讲作业换出、换入。
    虚拟性:从逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际的容量

    2.1.4 如何实现虚拟内存技术

    虚拟内存中,允许将一个作业分多次调入内存,采用连续分配方式时,会使相当一部分内存空间都处于暂时或“永久”的空闲状态,造成内存资源的严重浪费,而且也无法从逻辑上扩大内存容量,因此,虚拟内存的实现需要建立在离散分配的内存管理方式基础上。

    传统的非连续分配存储管理:

    1. 基本分页存储管理
    2. 基本分段存储管理
    3. 基本段页式存储管理

    虚拟内存的实现有以下三种方式:

    1.请求分页存储管理
    2.请求分段存储管理
    3.请求段页式存储管理

    请求分页系统建立在基本分页系统的基础上,为了支持虚拟存储器功能而增加了请求调页功能和页面置换功能。请求分页是目前最常用的一种虚拟存储器方法。

    主要区别:

    在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存(操作系统要提供请求调页(或请求调段)功能),然后继续执行程序。
    若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存(操作系统要提供页面置换(或段置换)的功能)。

    2.1.5 总结

    在这里插入图片描述

    2.2 请求分页管理方式

    2.2.1 页表机制

    与基本分页管理相比,请求分页管理中,为了实现“请求调页”,操作系统需要知道每个页面是否已经调入内存;如果还没调入,那么也需要知道该页面在外存中存放的位置。

    当内存空间不够时,要实现“页面置换” 操作系统需要通过某些指标来决定到底换出哪个页面;有的页面没有被修改过,就不用再浪费时间写回外存。有的页面修改过,就需要将外存中的旧数据覆盖,因此,操作系统也需要记录各个页面是否被修改的信息。
    在这里插入图片描述
    在基本分页系统基础上增加了四个字段:页号 | 物理块号 | 状态位P | 访问字段A | 修改位M | 外存地址

    (1) 状态位P:用于指示该页是否已调入内存,供程序訪问时參考。
    (2) 访问字段A:用于记录本页在一段时间内被訪问的次数,或记录本页近期已有多长时间未被訪问,供选择换出页面时參考。
    (3) 改动位M:表示该页在调入内存后是否被改动过。因为内存中的每一页都在外存上保留一份副本,因此,若未被改动,在置换该页时就不需再将该页写回到外存上,以降低系统的开销和启动磁盘的次数;若已被改动,则必须将该页重写到外存上,以保证外存中所保留的始终是最新副本 。简言之,M位供置换页面时參考。
    (4) 外存地址:用于指出该页在外存上的地址,一般是物理块号,供调入该页时參考。

    2.2.2 缺页中断机构

    在这里插入图片描述
    在这里插入图片描述
    缺页中断是因为当前执行的指令想要访问的目标页面未调入内存而产生的,因此缺页中断作为中断同样要经历,诸如保护CPU环境、分析中断原因、转入缺页中断处理程序、恢复CPU环境等几个步骤。但与一般的中断相比,它有以下两个明显的区别:

    1. 在指令执行期间产生和处理中断信号,而非一条指令执行完后,属于内中断
      一条指令在执行期间,可能产生多次缺页中断。(如:copyAtoB,即将逻辑地址A中的数据复制到逻辑地址B,而A、B属于不同的页面,则有可能产生两次中断)

    在这里插入图片描述

    2.2.3 地址变换机构

    请求分页存储管理与基本分页存储管理的主要区别:
    在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存(操作系统要提供请求调页功能,将缺失页面从外存调入内存),然后继续执行程序。

    若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存(操作系统要提供页面置换的功能,将暂时用不到的页面换出外存)。
    相对于分页系统主要增加了关于状态位P的操作。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2.2.4 总结

    在这里插入图片描述

    2.3 页面置换算法

    2.3.1 最佳置换法(OPT)

    最佳置换算法(OPT,Optimal) :每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。
    在这里插入图片描述
    最佳置换算法可以保证最低的缺页率,但实际上,只有在进程执行的过程中才能知道接下来会访问到的是哪个页面。操作系统无法提前预判页面访问序列。因此,最佳置换算法是无法实现的

    2.3.2 先进先出置换算法(FIFO)

    先进先出置换算法(FIFO) :每次选择淘汰的页面最早进入内存的页面
    实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面队列的最大长度取决于系统为进程分配了多少个内存块。
    在这里插入图片描述
    在这里插入图片描述
    Belady异常—当为进程分配的物理块数增大时,缺页次数不减反增的异常现象。

    只有FIFO算法会产生Belady异常,而LRU和OPT算法永远不会出现Belady异常。另外,FIFO算法虽然实现简单,但是该算法与进程实际运行时的规律不适应,因为先进入的页面也有可能最经常被访问。因此,算法性能差

    FIFO的性能较差,因为较早调入的页往往是经常被访问的页,这些页在FIFO算法下被反复调入和调出,并且有Belady现象。所谓Belady现象是指:采用FIFO算法时,如果对—个进程未分配它所要求的全部页面,有时就会出现分配的页面数增多但缺页率反而提高的异常现象。

    2.3.3 最近最久未使用置换算法(LRU)

    最近最久未使用置换算法(LRU,least recently used) :每次淘汰的页面最近最久未使用的页面
    实现方法:赋予每个页面对应的页表项中,用访问字段记录该页面自.上次被访问以来所经历的时间t(该算法的实现需要专门的硬件支持,虽然算法性能好,但是实现困难,开销大)。当需要淘汰一个页面时,选择现有页面中t值最大的,即最近最久未使用的页面。

    LRU性能较好,但需要寄存器和栈的硬件支持。LRU是堆栈类算法,理论上可以证明,堆栈类算法不可能出现Belady异常。
    在这里插入图片描述
    在手动做题时,若需要淘汰页面,可以逆向检查此时在内存中的几个页面号。在逆向扫描过程中最后一个出现的页号就是要淘汰的页面

    2.3.4 时钟置换算法(CLOCK)

    最佳置换算法性OPT能最好,但无法实现;先进先出置换算法实现简单,但算法性能差;最近最久未使用置换算法性能好,是最接近OPT算法性能的,但是实现起来需要专门的硬件支持,算法开销大。

    所以操作系统的设计者尝试了很多算法,试图用比较小的开销接近LRU的性能,这类算法都是CLOCK算法的变体,因为算法要循环扫描缓冲区像时钟一样转动。所以叫clock算法。

    时钟置换算法是一种性能和开销较均衡的算法,又称CLOCK算法,或最近未用算法(NRU,Not Recently Used)

    简单的CLOCK算法实现方法:为每个页面设置一个访问位,再将内存中的页面都通过链接指针链接成一个循环队列。当某页被访问时,其访问位置为1。当需要淘汰-一个页面时,只需检查页的访问位。如果是0,就选择该页换出;如果是1,则将它置为0,暂不换出,继续检查下一个页面,若第- - ~轮扫描中所有页面都是1,则将这些页面的访问位依次置为0后,再进行第二轮扫描(第二轮扫描中一定会有访问位为0的页面,因此简单的CLOCK算法选择–个淘汰页面最多会经过两轮扫描)
    在这里插入图片描述

    2.3.5 改进型的时钟置换算法

    简单的时钟置换算法仅考虑到一个页面最近是否被访问过。事实上,如果被淘汰的页面没有被修改过,就不需要执行I/O操作写回外存。只有被淘汰的页面被修改过时,才需要写回外存

    因此,除了考虑一个页面最近有没有被访问过之外,操作系统还应考虑页面有没有被修改过。在其他条件都相同时,应优先淘汰没有修改过的页面,避免I/O操作。这就是改进型的时钟置换算法的思想。修改位=0,表示页面没有被修改过;修改位=1,表示页面被修改过。

    为方便讨论,用(访问位,修改位)的形式表示各页面状态。如(1, 1)表示一个页面近期被访问过,且被修改过。

    改进型的Clock算法需要综合考虑某一内存页面的访问位和修改位来判断是否置换该页面。在实际编写算法过程中,同样可以用一个等长的整型数组来标识每个内存块的修改状态。访问位A和修改位M可以组成一下四种类型的页面。

    算法规则:将所有可能被置换的页面排成–个循环队列

    第一轮:从当前位置开始扫描到第一个(A =0, M = 0)的帧用于替换。表示该页面最近既未被访问,又未被修改,是最佳淘汰页
    第二轮:若第一轮扫描失败,则重新扫描,查找第一个(A =0, M = 1)的帧用于替换。本轮将所有扫描过的帧访问位设为0。表示该页面最近未被访问,但已被修改,并不是很好的淘汰页。
    第三轮:若第二轮扫描失败,则重新扫描,查找第一个(A =1, M = 0)的帧用于替换。本轮扫描不修改任何标志位。表示该页面最近已被访问,但未被修改,该页有可能再被访问。
    第四轮:若第三轮扫描失败,则重新扫描,查找第一个A =1, M = 1)的帧用于替换。表示该页最近已被访问且被修改,该页可能再被访问。

    由于第二轮已将所有帧的访问位设为0,因此经过第三轮、第四轮扫描一定会有一个帧被选中,因此改进型CLOCK置换算法选择- -个淘汰页面最多会进行四轮扫描

    在这里插入图片描述
    算法规则:将所有可能被置换的页面排成一个循环队列
    第一轮:从当前位置开始扫描到第-一个(0, 0)的帧用于替换。本轮扫描不修改任何标志位。(第一优先级:最近没访问,且没修改的页面)
    第二轮:若第一轮扫描失败,则重新扫描,查找第一个(0, 1)的帧用于替换。本轮将所有扫描过的帧访问位设为0
    (第二优先级: 最近没访问,但修改过的页面)
    第三轮:若第二轮扫描失败,则重新扫描,查找第一个(0, 0)的帧用于替换。本轮扫描不修改任何标志位(第三优先级:最近访问过,但没修改的页面)
    第四轮:若第三轮扫描失败,则重新扫描,查找第一个(0, 1)的帧用于替换。(第四优先级:最近访问过,且修改过的页面)
    由于第二轮已将所有帧的访问位设为0,因此经过第三轮、第四轮扫描一定会有一个帧被选中,因此改进型CLOCK置换算法选择一个淘汰页面最多会进行四轮扫描

    2.3.6 总结

    算法规则 优缺点
    OPT 优先淘汰最长时间内不会被访问的页面 缺页率最小,性能最好;但无法实现
    FIFO 优先淘汰最先进入内存的页面 实现简单;但性能很差,可能出现Belady异常
    LRU 优先淘汰最近最久没访问的页面 性能很好;但需要硬件支持,算法开销大
    CLOCK (NRU) 循环扫描各页面
    第一轮淘汰访问位=0的,并将扫描过的页面访问位改为1。若第-轮没选中,则进行第二轮扫描。
    实现简单,算法开销小;但未考虑页面是否被修改过。
    改进型CLOCK (改进型NRU) 若用(访问位,修改位)的形式表述,则
    第一轮:淘汰(0,0)
    第二轮:淘汰(O,1),并将扫描过的页面访问位都置为0
    第三轮:淘汰(O, 0)
    第四轮:淘汰(0, 1)
    算法开销较小,性能也不错

    2.4 页面分配

    2.4.1 页面分配、置换策略

    在这里插入图片描述
    在这里插入图片描述

    2.4.2 调入页面的时机

    1. 预调页策略:根据局部性原理(主要指空间局部性,即:如果当前访问了某个内存单元,在之后很有可能会接着访问与其相邻的那些内存单元。),一次调入若干个相邻的页面可能比一次调入一个页面更高效。但如果提前调入的页面中大多数都没被访问过,则又是低效的。因此可以预测不久之后可能访问到的页面,将它们预先调入内存,但目前预测 成功率只有50% 左右。故这种策略主要用于进程的首次调入(运行前调入),由程序员指出应该先调入哪些部分。
    2. 请求调页策略:进程在运行期间发现缺页时才将所缺页面调入内存(运行时调入)。由这种策略调入的页面一-定会被访问到,但由于每次只能调入一页,而每次调页都要磁盘I/0操作,因此I/0开销较 大。

    2.4.3 从何时调入页面

    请求分页系统中外存分为两部分:用于存放文件的文件区和用于存放对换页面的对换区。对换区通常是采用连续分配方式,而文件区采用离散分配方式,故对换区的磁盘I/O速度比文件区的更快。

    1.系统拥有足够的对换区空间:页面的调入、调出都是在内存与对换区之间进行,这样可以保证页面的调入、调出速度很快。在进程运行前,需将进程相关的数据从文件区复制到对换区。

    2.系统缺少足够的对换区空间:凡是不会被修改的数据都直接从文件区调入,由于这些页面不会被修改,因此换出时不必写回磁盘,下次需要时再从文件区调入即可。对于可能被修改的部分,换出时需写回磁盘对换区,下次需要时再从对换区调入。

    3.UNIX方式:运行之前进程有关的数据全部放在文件区,故未使用过的页面,都可从文件区调入。若被使用过的页面需要换出,则写回对换区,下次需要时从对换区调入。

    在这里插入图片描述

    2.4.3 抖动(颠簸)现象

    刚刚换出的页面马上又要换入内存,刚刚换入的页面马上又要换出外存,这种频繁的页面调度行为称为抖动,或颠簸。产生抖动的主要原因是进程频繁访问的页面数目高于可用的物理块数(分配给进程的物理块不够)

    为进程分配的物理块太少,会使进程发生抖动现象。为进程分配的物理块太多,又会降低系统整体的并发度,降低某些资源的利用率
    为了研究为应该为每个进程分配多少个物理块,Denning 提出了进程工作集” 的概念

    2.4.4 工作集

    驻留集:指请求分页存储管理中给进程分配的内存块的集合。
    工作集:指在某段时间间隔里,进程实际访问页面的集合。

    原理:让操作系统跟踪每个进程的工作集,并为进程分配大于其工作集的物理块。如果还有空闲物理块,则可以再调一个进程到内存以增加多道程序数。如果所有工作集之和增加以至于超过了可用物理块的总数,那么操作系统会暂停一个进程,将其页面调出并且将其物理块分配给其他进程,防止出现抖动。
    在这里插入图片描述
    工作集大小可能小于窗口尺寸,实际应用中,操作系统可以统计进程的工作集大小,根据工作集大小给进程分配若干内存块。如:窗口尺寸为5,经过一段时间的监测发现某进程的工作集最大为3,那么说明该进程有很好的局部性,可以给这个进程分配3个以上的内存块即可满足进程的运行需要。
    –般来说,驻留集大小不能小于工作集大小,否则进程运行过程中将频繁缺页
    拓展:基于局部性原理可知,进程在–段时间内访问的页面与不久之后会访问的页面是有相关性的。因此,可以根据进程近期访问的页面集合(工作集)来设计- -种页面置换算法- --选择-一个不在工作集中的页面进行淘汰。

    2.4.5 总结

    在这里插入图片描述

    1. 虚拟存储只能基于非连续分配技术。
    2. 虚拟存储器容量既不受外存容量限制,也不受内存容量限制,而是由CPU的寻址范围决定的。
    3. 在请求分页存储器中,由于页面尺寸增大,存放程序需要的页数就会减少,因此缺页中断的次数也会减少。
    4. 进程在执行中发生了缺页中断,经操作系统处理后,应让其执行被中断的那一条指令,缺页中断是访存指令引起的,说明所要访问的页面不在内存中,在进行缺页中断处理后,调入所要访问的页面后,访存指令显然应该重新执行。
    5. 缺页中断调入新页面,肯定要修改页表项和分配页框,同时内存没有页面,需要从外存读入,会发生磁盘I/O。
    6. 虚拟存储技术是基于程序的局部性原理,局部性越好虚拟存储系统越能更好地发挥其作用。
    7. 无论采用什么算法,每种页面第一次访问时不可能在内存中,必然发生缺页,所以缺页次数大于程序所需要的页数。
    8. LRU算法需要对所有的页最近被访问的时间进行记录,查找时间最久的进行替换,这涉及排序,对置换算法而言,开销太大。
    9. 页表项中合法位信息显示着本页面是否在内存中,也即决定了是否会发生页面故障。
    10. 虚拟存储扩充内存的基本方法是将一些页或段从内存中调入,调出,而调入,调出的基本手段是覆盖与交换。
    11. 请求分页存储管理的主要特点是扩充了内存。
    12. 页式虚拟存储管理的特点是不要求将作业同时全部装入到连续区域,一般只装入10%~30%,不要求将作业装入主存连续区域是所有离散式存储管理(包括页式存储管理)的特点,页式虚拟存储管理需要进行中断处理和页面置换。
    13. 快表在计算机系统中是用于地址变换。
    14. 覆盖技术与虚拟存储技术最本质的不同在于覆盖程序段的最大长度要受内存容量大小的限制,而虚拟存储器中的程序最大长度不受内存容量的限制,只受计算机地址结构的限制。另外,覆盖技术中的覆盖段由程序设计,且要求覆盖段中的各个覆盖具有相对独立性,不存在直接联系或相互交叉访问,而虚拟存储技术对用户的程序段之间没有这种要求。
    15. 交换技术与虚存技术相同点是都要在内存与外存之间交换信息,交换技术与虚存中使用的调入/调出技术主要的区别是:交换技术调入/调出整个进程,因此一个进程大小要受内存容量大小的限制,而虚存中使用的调入/调出技术在内存和外存之间来回传递的是页面或分段,而不是整个进程,从而使得进程的地址映射具有了更大的灵活性,且允许进程的大小比可用的内存空间大。
    16. 已知系统为32位实地址,采用48位虚地址,页面大小为4KB,页表项大小为8B,假设系统使用纯页式存储,则采用(4)级页表,页内偏移地址(12)位。
      页面大小为4KB,故页内偏移为12位,系统采用48位虚拟地址,故虚页号48-12=36位。采用多级页表时,最高级页表不能超出一页大小,每页能容纳页表项数位:4KB/8B=512=2^9,36/9=4,故采用4级页表。

    1.9 分段存储管理方式

    分段管理方式的提出则是考虑了用户和程序员,以满足方便编程,信息保护和共享,动态增长及动态链接等多方面的需要。

    段内要求连续,段间不要求连续

    在段式系统中,段号和段内偏移量必须由用户显示提供,在高级程序设计语言中,这个工作由编译程序完成。

    段表:每个进程都有一张逻辑空间与内存空间映射的段表,其中每一个段表项对应进程的一个段,段表项记录该段在内存中的起始地址和段的长度。

    地址转换机构
    在这里插入图片描述
    为了查询方便,顶级页表最多只能有1个页面

    段页式存储管理方式:

    页式存储管理能有效地提高内存利用率,而分段存储管理能反映程序的逻辑结构并有利于段的共享。

    作业的地址空间首先被分成若干个逻辑段,每段都有自己的段号,然后再将每一段分成若干个大小固定的页。

    逻辑地址有三部分构成:段号,页号,页内偏移量

    段表表项:段号,页表长度,页表起始地址

    页表表项:页号,块号

    段表寄存器:指出段表起始地址和段表长度

    页表寄存器:判断是否越界
    在这里插入图片描述

    重要概念

    1.虚拟内存的管理需要有相关硬件和软件的支持
    有请求分页页表机制,缺页中断机制,地址变换机构等。

    2.在使用交换技术时,如果一个进程正在进行I/O操作时,则不能交换出主存。否则它的I/O数据区将被新换入的进程占用,导致错误,不过可以在操作系统中开辟I/O缓冲区,将数据从外设或将数据输出到外设的I/O活动在系统缓冲区中进行,这时在系统缓冲区与外设I/O时,进程交换不受限制。

    3.当程序要访问某个内存单元时,由硬件检查是否允许,如果允许则执行,否则产生地址越界中断。

    4.段页式存储管理中,地址映射表是每个进程一张页表,每个段一张段表。

    5.内存保护需要由操作系统和硬件机构合作完成,以保证进程空间不被非法访问,内存保护是内存管理的一部分,是操作系统的任务,但是处于安全性和效率考虑,必须由硬件实现,所以需要操作系统和硬件机构的合作来完成。

    6.覆盖技术是早期在单一连续存储管理中使用的扩大存储容量的一种技术,它同样也可用于固定分区分配的存储管理者中。

    7.分页式存储管理有内部碎片,分段式存储管理有外部碎片,固定分区存储管理方式有内部碎片,分页式存储管理方式有内部碎片。

    8.页式存储管理中,页表的始地址存放在寄存器中(页表基址寄存器(PTBR)),这样才能满足在地址变换时,能够较快地完成逻辑地址和物理地址之间的转换。

    9.对重定位存储管理方式,应在这个系统中设置一个重定位寄存器。因为系统处理器在通一个时刻只能执行一条指令或访问数据,所以为每道程序(数据)设置一个寄存器是没有必要的,而只需要在切换程序执行时重置寄存器内容即可。

    10.采用可重用程序是通过减少对换数的方法来改善系统性能的。可重入程序通过共享来使用同一块存储空间,或者通过动态链接的方式将所需程序映射道相关进程中,其最大的优点是减少了对程序的调入/调出,因此减少了对换数量。

    11.实现分页,分段式存储需要特定的数据结构,例如,页表,段表等,为了提高性能还需要提供快存和地址加法器,代价高。分区存储管理满足多道程序设计的最简单存储管理方案,特别适合嵌入式等微型设别。

    12.引入覆盖和交换技术是时间换空间。

    13.页式存储页面大小是等长的。

    14.引入段式存储管理方式,主要是为了满足用户下列要求:方便编程,分段共享,分段保护,动态链接和动态增长

    15.主存分配以块为单位,访问以字节为单位。

    16.存储管理目的:1方便用户2提高内存利用率

    17.分页是一维,分段是二维,因为分页定长。

    18.在多个进程并发执行时,所有进程的页表大多数驻留在内存中,在系统中设置一个页表寄存器(PTR),在其中存放页表在内存的起始地址和页表长度,平时,进程未执行时,页表的起始地址和页表长度存放在本进程的PCB中,当调度到进程时,才将两个数据转入页表寄存器,每个进程都有一个单独的逻辑地址,有一张属于自己的页表。

    19.段页式存储管理兼有页式管理和段式管理的优点,采用分段方法来分配和管理用户地址空间,用分页方法来管理物理存储空间,但它的开销比分段式和页式管理的开销都要大。

    问答

    1.为什么要进行内存管理?

    单道处理机系统阶段,一个系统一个时间只执行一个程序,内存分配简单。多道程序引入后,进程之间除了共享的不仅仅是处理机,还有主存储器。共享内存比较复杂,此时不对内存进行管理,容易导致数据混乱,以至于限制进程并发执行。

    2.页式管理中每个页表项的大小下限如何确定?

    首先用总的位数m-页内位数n,得到页号的位数x,然后取log2x,然后对结果向上取正,因为页表项以字节为单位。(也可以选择更大的页表项大小以至于让一个页面能够正好容下整数个页表项以方便存储(例如取成4B,那么一页正好可以装下1K个页表项)或者增加点其他什么信息)

    3.多级页表解决了什么问题?又会带来什么问题?

    多级页表解决了当逻辑地址空间过大时,页表长度会大大增加的问题。而采用多级页表时一次访盘需要多次访问内存升至磁盘,会大大增加一次方寸的时间。

    题目

    1.(2011考研)在虚拟内存管理中,地址变换机构将逻辑地址变换为物理地址,形成该逻辑地址的阶段是(C)

    A.编辑 B.编译 C.链接 D.装载

    编译后的程序需要经过链接才能装载,而链接后形成的目标程序中的地址是逻辑地址。以,C语言为例:C语言经过预处理(cpp)–>编译(ccl)–>汇编(as)–>链接(ld)产生了可执行文件。其链接的前一步,产生了可重定位的二进制的目标文件。C语言采用源文件独立编译的方法,如程序main.c,file.c,file1.h,file2.h,在链接的前一步生成了main.o,file1.o,file2.o,这些目标模块采用的逻辑地址都从0开始,但只是相对该模块的逻辑地址。但只是相对于该模块的逻辑地址,链接器将这三个文件,libc和其他库文件链接成一个可执行文件,链接阶段主要完成重定位,形成整个程序的完整逻辑地址空间。(完成该变换过程的是装载阶段)

    2.(2010考研)

    某计算机采用二级页表的分页存储管理方式,按字节编址,页大小为2^10字节,页表项大小为2字节,逻辑地址结构为

    页目录号|页号|页内偏移量

    逻辑地址空间大小为2^16,则表示整个逻辑地址空间的目录表中包含表项的个数至少是(128)

    展开全文
  • 20 张图揭开「内存管理」的迷雾,瞬间豁然开朗

    万次阅读 多人点赞 2020-06-30 14:40:44
    每日英语,每天进步一点点 前言 之前有不少读者跟我反馈,能不能写图解操作系统? 既然那么多读者想看,我最近就在疯狂的复习操作系统的知识。 操作系统确实是比较难啃的一门...本篇跟大家说说内存管理内存管理还是
  • 操作系统 内存管理 知识点

    千次阅读 2018-02-27 23:50:40
    目录:地址的动静态重定位内存分配算法程序的链接和装入(静态和动态)逻辑地址和物理地址虚拟内存,实际内存,内部外部碎片地址的重定位:程序执行时,必须将地址空间变为绝对地址才能访问系统分配的内存地址重定位...
  • 计算机操作系统_内存管理

    千次阅读 2019-03-04 10:11:09
    内存管理 设计程序模拟内存的动态分区内存管理方法。内存空闲区使用空闲分区表进行管理,采用最先适应算法从空闲分区表中寻找空闲区进行分配,内存回收时不考虑与相邻空闲区的合并。 假定系统的内存共640K,初始...
  • malloc内存管理总结

    千次阅读 2018-08-14 13:03:49
    内存管理 内存管理主要包含两个层面的内容: 1、操作系统内核相关的内存管理:物理内存层 2、库函数层:主要是堆内存,即malloc实现层 如果用户还有需要会在用户层再做一次内存管理机制,例如SGI STL中的...
  • 页目录,页表2.Windows内存管理3.CPU段式内存管理4.CPU页式内存管理 一、基本概念1. 两个内存概念物理内存:人尽皆知,就是插在主板上的内存条。他是固定的,内存条的容量多大,物理内存就有多大(集成显卡系统除外...
  • 深入理解Linux内存管理-之-目录导航

    万次阅读 多人点赞 2016-09-29 21:51:17
    日期 内核版本 架构 作者 GitHub CSDN 2016-08-31 Linux-4.7 X86 & arm gatieme LinuxDeviceDrivers ... GitHub Linux内存描述之概述–Linux内存管理(一) 01-description/01-memory Linux内
  • 我们看这个图片,我电脑内存是8g,占用31%,也就是2.5g左右,但是下面的每项加起来只是2.5g的一半。 正确的看真实占用应该在资源监视器里面看。   打开资源监视器的方法:打开任务管理器 –>选择性能 –> 这页的...
  • Spark 内存管理之StaticMemoryManager

    万次阅读 2017-06-30 11:28:20
    分析静态资源管理器StaticMemoryManager
  • Spark 内存管理概述

    万次阅读 2017-06-27 14:22:39
    介绍Spark内存管理中涉及到的相关概念
  • 问题描述: 重启系统后,看见内存达到百分之85,通过查看任务管理器实际内存占用为500m尝试解决: 原本以为是jenkis程序导致的内存过大,屏蔽掉之后并无什么收获 尝试在网络上查询相关信息最终得到解决方案: 以...
  •  出现两次这个问题,都是长时间开机后,出现内存占用很高,重启还是内存占用很高,而且任务管理器里面查看,实际没有进程占用那么高。 曾经试过很多种办法,但是一样的现象却有不同的原因。 比如Windows自动更新...
  • 最近公司的一个服务器非常卡顿,打开服务器的资源管理器显示进程占用不多,但性能里内存爆满,32G运行内存用了31G,资源管理器显示占用最大的 javaw.exe和数据库都是1点多G,所有的加起来应该也不超过5G,那是什么...
  • 跟着原子学习stm32之内存管理

    千次阅读 2016-07-13 15:57:29
    学习stm32有2年的时间了,但是也只是有些基础的了解。为了深入的学习stm32应用,从新拿起原子写的《stm32开发指南》来深入的学习,所以这里太基本的东西不讲。...内存管理的实现方法有很多种,他们其
  • 最近登录服务器发现服务器内存占用率一直在98%,打开任务管理器却看不到内存占用率很高的进程,再三研究,发现是 SQL SERVER2005 的问题,默认情况下,SQL SERVER2005的内存上限是N高的,解决办法如下: 1、 2、...
  • FreeRTOS高级篇7---FreeRTOS内存管理分析

    万次阅读 多人点赞 2016-06-07 19:41:55
    内存管理对应用程序和操作系统来说都非常重要。现在很多的程序漏洞和运行崩溃都和内存分配使用错误有关。 FreeRTOS操作系统将内核与内存管理分开实现,操作系统内核仅规定了必要的内存管理函数原型,而不关心这些...
  • linux内核分析--浅析内存管理机制

    千次阅读 2014-04-18 19:01:04
    linux内存管理---虚拟地址、逻辑地址、线性地址、物理地址的区别(一) linux内存管理---物理地址、线性地址、虚拟地址。逻辑地址之间的转换(二) linux内存管理--linux内核高端内存 linux内存管理--Linux中的...
1 2 3 4 5 ... 20
收藏数 1,300,397
精华内容 520,158
关键字:

内存管理