内存管理_内存管理类 - CSDN
内存管理 订阅
内存管理是指软件运行时对计算机内存资源的分配和使用的技术。其最主要的目的是如何高效,快速的分配,并且在适当的时候释放和回收内存资源。一个执行中的程式,譬如网页浏览器在个人电脑或是图灵机(Turing machine)里面,为一个行程将资料转换于真实世界及电脑内存之间,然后将资料存于电脑内存内部(在计算机科学,一个程式是一群指令的集合,一个行程是电脑在执行中的程式)。一个程式结构由以下两部分而成:“本文区段”,也就是指令存放,提供CPU使用及执行; “资料区段”,储存程式内部本身设定的资料,例如常数字串。 展开全文
内存管理是指软件运行时对计算机内存资源的分配和使用的技术。其最主要的目的是如何高效,快速的分配,并且在适当的时候释放和回收内存资源。一个执行中的程式,譬如网页浏览器在个人电脑或是图灵机(Turing machine)里面,为一个行程将资料转换于真实世界及电脑内存之间,然后将资料存于电脑内存内部(在计算机科学,一个程式是一群指令的集合,一个行程是电脑在执行中的程式)。一个程式结构由以下两部分而成:“本文区段”,也就是指令存放,提供CPU使用及执行; “资料区段”,储存程式内部本身设定的资料,例如常数字串。
信息
中文名
内存管理
学    科
计算机
外文名
memory management
概    念
是指软件运行时对计
作用 
高效,快
媒    介
磁带或是磁盘
内存管理技术简介
内存可以通过许多媒介实现,例如磁带或是磁盘,或是小阵列容量的微芯片。 从1950年代开始,计算机变的更复杂,它内部由许多种类的内存组成。内存管理的任务也变的更加复杂,甚至必须在一台机器同时执行多个进程。虚拟内存是内存管理技术的一个极其实用的创新。它是一段程序(由操作系统调度),持续监控着所有物理内存中的代码段、数据段,并保证他们在运行中的效率以及可靠性,对于每个用户层(user-level)的进程分配一段虚拟内存空间。当进程建立时,不需要在物理内存件之间搬移数据,数据储存于磁盘内的虚拟内存空间,也不需要为该进程去配置主内存空间,只有当该进程被被调用的时候才会被加载到主内存。可以想像一个很大的程序,当他执行时被操作系统调用,其运行需要的内存数据都被存到磁盘内的虚拟内存,只有需要用到的部分才被加载到主内存内部运行。 [1] 
收起全文
  • 在企业级项目开发中一个非常重要的设计就是如何有效...在C语言中,关于内存管理的知识点比较多,如函数变量、作用域、指针、堆 、栈、 常量区、全局静态区、要想真正掌握和理解C语言,就必须先精通C语言内存管理机制。
  • 摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。力求从外到内、水到渠成地引导网友分析Linux的内存管理与使用。在本章最后,...

    摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。力求从外到内、水到渠成地引导网友分析Linux的内存管理与使用。在本章最后,我们给出一个内存映射的实例,帮助网友们理解内核内存管理与用户内存管理之间的关系,希望大家最终能驾驭Linux内存管理。

    前言

    内存管理一向是所有操作系统书籍不惜笔墨重点讨论的内容,无论市面上或是网上都充斥着大量涉及内存管理的教材和资料。因此,我们这里所要写的Linux内存管理采取避重就轻的策略,从理论层面就不去班门弄斧,贻笑大方了。我们最想做的和可能做到的是从开发者的角度谈谈对内存管理的理解,最终目的是把我们在内核开发中使用内存的经验和对Linux内存管理的认识与大家共享。

    当然,这其中我们也会涉及到一些诸如段页等内存管理的基本理论,但我们的目的不是为了强调理论,而是为了指导理解开发中的实践,所以仅仅点到为止,不做深究。

    遵循“理论来源于实践”的“教条”,我们先不必一下子就钻入内核里去看系统内存到底是如何管理,那样往往会让你陷入似懂非懂的窘境(我当年就犯了这个错误!)。所以最好的方式是先从外部(用户编程范畴)来观察进程如何使用内存,等到大家对内存的使用有了较直观的认识后,再深入到内核中去学习内存如何被管理等理论知识。最后再通过一个实例编程将所讲内容融会贯通。

    进程与内存

    进程如何使用内存?

    毫无疑问,所有进程(执行的程序)都必须占用一定数量的内存,它或是用来存放从磁盘载入的程序代码,或是存放取自用户输入的数据等等。不过进程对这些内存的管理方式因内存用途不一而不尽相同,有些内存是事先静态分配和统一回收的,而有些却是按需要动态分配和回收的。

    对任何一个普通进程来讲,它都会涉及到5种不同的数据段。稍有编程知识的朋友都能想到这几个数据段中包含有“程序代码段”、“程序数据段”、“程序堆栈段”等。不错,这几种数据段都在其中,但除了以上几种数据段之外,进程还另外包含两种数据段。下面我们来简单归纳一下进程对应的内存空间中所包含的5种不同的数据区。

    代码段:代码段是用来存放可执行文件的操作指令,也就是说是它是可执行程序在内存中的镜像。代码段需要防止在运行时被非法修改,所以只准许读取操作,而不允许写入(修改)操作——它是不可写的。

    数据段:数据段用来存放可执行文件中已初始化全局变量,换句话说就是存放程序静态分配[1]的变量和全局变量。

    BSS段[2]:BSS段包含了程序中未初始化的全局变量,在内存中 bss段全部置零。

    堆(heap):堆是用于存放进程运行中被动态分配的内存段,它的大小并不固定,可动态扩张或缩减。当进程调用malloc等函数分配内存时,新分配的内存就被动态添加到堆上(堆被扩张);当利用free等函数释放内存时,被释放的内存从堆中被剔除(堆被缩减)

    :栈是用户存放程序临时创建的局部变量,也就是说我们函数括弧“{}”中定义的变量(但不包括static声明的变量,static意味着在数据段中存放变量)。除此以外,在函数被调用时,其参数也会被压入发起调用的进程栈中,并且待到调用结束后,函数的返回值也会被存放回栈中。由于栈的先进先出特点,所以栈特别方便用来保存/恢复调用现场。从这个意义上讲,我们可以把堆栈看成一个寄存、交换临时数据的内存区。

    进程如何组织这些区域?

    上述几种内存区域中数据段、BSS和堆通常是被连续存储的——内存位置上是连续的,而代码段和栈往往会被独立存放。有趣的是,堆和栈两个区域关系很“暧昧”,他们一个向下“长”(i386体系结构中栈向下、堆向上),一个向上“长”,相对而生。但你不必担心他们会碰头,因为他们之间间隔很大(到底大到多少,你可以从下面的例子程序计算一下),绝少有机会能碰到一起。

    下图简要描述了进程内存区域的分布:

    “事实胜于雄辩”,我们用一个小例子(原形取自《User-Level Memory Management》)来展示上面所讲的各种内存区的差别与位置。

    #include<stdio.h>

    #include<malloc.h>

    #include<unistd.h>

    int bss_var;

    int data_var0=1;

    int main(int argc,char **argv)

    {

      printf("below are addresses of types of process's mem\n");

      printf("Text location:\n");

      printf("\tAddress of main(Code Segment):%p\n",main);

      printf("____________________________\n");

      int stack_var0=2;

      printf("Stack Location:\n");

      printf("\tInitial end of stack:%p\n",&stack_var0);

      int stack_var1=3;

      printf("\tnew end of stack:%p\n",&stack_var1);

      printf("____________________________\n");

      printf("Data Location:\n");

      printf("\tAddress of data_var(Data Segment):%p\n",&data_var0);

      static int data_var1=4;

      printf("\tNew end of data_var(Data Segment):%p\n",&data_var1);

      printf("____________________________\n");

      printf("BSS Location:\n");

      printf("\tAddress of bss_var:%p\n",&bss_var);

      printf("____________________________\n");

      char *b = sbrk((ptrdiff_t)0);

      printf("Heap Location:\n");

      printf("\tInitial end of heap:%p\n",b);

      brk(b+4);

      b=sbrk((ptrdiff_t)0);

      printf("\tNew end of heap:%p\n",b);

    return 0;

     }

    它的结果如下

    below are addresses of types of process's mem

    Text location:

       Address of main(Code Segment):0x8048388

    ____________________________

    Stack Location:

       Initial end of stack:0xbffffab4

       new end of stack:0xbffffab0

    ____________________________

    Data Location:

       Address of data_var(Data Segment):0x8049758

       New end of data_var(Data Segment):0x804975c

    ____________________________

    BSS Location:

       Address of bss_var:0x8049864

    ____________________________

    Heap Location:

       Initial end of heap:0x8049868

       New end of heap:0x804986c

    利用size命令也可以看到程序的各段大小,比如执行size example会得到

    text data bss dec hex filename

    1654 280   8 1942 796 example

    但这些数据是程序编译的静态统计,而上面显示的是进程运行时的动态值,但两者是对应的。

     

    通过前面的例子,我们对进程使用的逻辑内存分布已先睹为快。这部分我们就继续进入操作系统内核看看,进程对内存具体是如何进行分配和管理的。

    从用户向内核看,所使用的内存表象形式会依次经历“逻辑地址”——“线性地址”——“物理地址”几种形式(关于几种地址的解释在前面已经讲述了)。逻辑地址经段机制转化成线性地址;线性地址又经过页机制转化为物理地址。(但是我们要知道Linux系统虽然保留了段机制,但是将所有程序的段地址都定死为0-4G,所以虽然逻辑地址和线性地址是两种不同的地址空间,但在Linux中逻辑地址就等于线性地址,它们的值是一样的)。沿着这条线索,我们所研究的主要问题也就集中在下面几个问题。

    1.     进程空间地址如何管理?

    2.     进程地址如何映射到物理内存?

    3.     物理内存如何被管理?

    以及由上述问题引发的一些子问题。如系统虚拟地址分布;内存分配接口;连续内存分配与非连续内存分配等。

     

    进程内存空间

    Linux操作系统采用虚拟内存管理技术,使得每个进程都有各自互不干涉的进程地址空间。该空间是块大小为4G的线性虚拟空间,用户所看到和接触到的都是该虚拟地址,无法看到实际的物理内存地址。利用这种虚拟地址不但能起到保护操作系统的效果(用户不能直接访问物理内存),而且更重要的是,用户程序可使用比实际物理内存更大的地址空间(具体的原因请看硬件基础部分)。

    在讨论进程空间细节前,这里先要澄清下面几个问题:

    l         第一、4G的进程地址空间被人为的分为两个部分——用户空间与内核空间。用户空间从0到3G(0xC0000000),内核空间占据3G到4G。用户进程通常情况下只能访问用户空间的虚拟地址,不能访问内核空间虚拟地址。只有用户进程进行系统调用(代表用户进程在内核态执行)等时刻可以访问到内核空间。

    l         第二、用户空间对应进程,所以每当进程切换,用户空间就会跟着变化;而内核空间是由内核负责映射,它并不会跟着进程改变,是固定的。内核空间地址有自己对应的页表(init_mm.pgd),用户进程各自有不同的页表。

    l         第三、每个进程的用户空间都是完全独立、互不相干的。不信的话,你可以把上面的程序同时运行10次(当然为了同时运行,让它们在返回前一同睡眠100秒吧),你会看到10个进程占用的线性地址一模一样。

     

    进程内存管理

    进程内存管理的对象是进程线性地址空间上的内存镜像,这些内存镜像其实就是进程使用的虚拟内存区域(memory region)。进程虚拟空间是个32或64位的“平坦”(独立的连续区间)地址空间(空间的具体大小取决于体系结构)。要统一管理这么大的平坦空间可绝非易事,为了方便管理,虚拟空间被划分为许多大小可变的(但必须是4096的倍数)内存区域,这些区域在进程线性地址中像停车位一样有序排列。这些区域的划分原则是“将访问属性一致的地址空间存放在一起”,所谓访问属性在这里无非指的是“可读、可写、可执行等”。

    如果你要查看某个进程占用的内存区域,可以使用命令cat /proc/<pid>/maps获得(pid是进程号,你可以运行上面我们给出的例子——./example &;pid便会打印到屏幕),你可以发现很多类似于下面的数字信息。

    由于程序example使用了动态库,所以除了example本身使用的的内存区域外,还会包含那些动态库使用的内存区域(区域顺序是:代码段、数据段、bss段)。

    我们下面只抽出和example有关的信息,除了前两行代表的代码段和数据段外,最后一行是进程使用的栈空间。

    -------------------------------------------------------------------------------

    08048000 - 08049000 r-xp 00000000 03:03 439029                               /home/mm/src/example

    08049000 - 0804a000 rw-p 00000000 03:03 439029                               /home/mm/src/example

    ……………

    bfffe000 - c0000000 rwxp ffff000 00:00 0

    ----------------------------------------------------------------------------------------------------------------------

    每行数据格式如下:

    (内存区域)开始-结束 访问权限  偏移  主设备号:次设备号 i节点  文件。

    注意,你一定会发现进程空间只包含三个内存区域,似乎没有上面所提到的堆、bss等,其实并非如此,程序内存段和进程地址空间中的内存区域是种模糊对应,也就是说,堆、bss、数据段(初始化过的)都在进程空间中由数据段内存区域表示。

     

    在Linux内核中对应进程内存区域的数据结构是: vm_area_struct, 内核将每个内存区域作为一个单独的内存对象管理,相应的操作也都一致。采用面向对象方法使VMA结构体可以代表多种类型的内存区域--比如内存映射文件或进程的用户空间栈等,对这些区域的操作也都不尽相同。

    vm_area_strcut结构比较复杂,关于它的详细结构请参阅相关资料。我们这里只对它的组织方法做一点补充说明。vm_area_struct是描述进程地址空间的基本管理单元,对于一个进程来说往往需要多个内存区域来描述它的虚拟空间,如何关联这些不同的内存区域呢?大家可能都会想到使用链表,的确vm_area_struct结构确实是以链表形式链接,不过为了方便查找,内核又以红黑树(以前的内核使用平衡树)的形式组织内存区域,以便降低搜索耗时。并存的两种组织形式,并非冗余:链表用于需要遍历全部节点的时候用,而红黑树适用于在地址空间中定位特定内存区域的时候。内核为了内存区域上的各种不同操作都能获得高性能,所以同时使用了这两种数据结构。

    下图反映了进程地址空间的管理模型:

    进程的地址空间对应的描述结构是“内存描述符结构”,它表示进程的全部地址空间,——包含了和进程地址空间有关的全部信息,其中当然包含进程的内存区域。

    进程内存的分配与回收

    创建进程fork()、程序载入execve()、映射文件mmap()、动态内存分配malloc()/brk()等进程相关操作都需要分配内存给进程。不过这时进程申请和获得的还不是实际内存,而是虚拟内存,准确的说是“内存区域”。进程对内存区域的分配最终都会归结到do_mmap()函数上来(brk调用被单独以系统调用实现,不用do_mmap()),

    内核使用do_mmap()函数创建一个新的线性地址区间。但是说该函数创建了一个新VMA并不非常准确,因为如果创建的地址区间和一个已经存在的地址区间相邻,并且它们具有相同的访问权限的话,那么两个区间将合并为一个。如果不能合并,那么就确实需要创建一个新的VMA了。但无论哪种情况, do_mmap()函数都会将一个地址区间加入到进程的地址空间中--无论是扩展已存在的内存区域还是创建一个新的区域。

    同样,释放一个内存区域应使用函数do_ummap(),它会销毁对应的内存区域。

    如何由虚变实!

        从上面已经看到进程所能直接操作的地址都为虚拟地址。当进程需要内存时,从内核获得的仅仅是虚拟的内存区域,而不是实际的物理地址,进程并没有获得物理内存(物理页面——页的概念请大家参考硬件基础一章),获得的仅仅是对一个新的线性地址区间的使用权。实际的物理内存只有当进程真的去访问新获取的虚拟地址时,才会由“请求页机制”产生“缺页”异常,从而进入分配实际页面的例程。

    该异常是虚拟内存机制赖以存在的基本保证——它会告诉内核去真正为进程分配物理页,并建立对应的页表,这之后虚拟地址才实实在在地映射到了系统的物理内存上。(当然,如果页被换出到磁盘,也会产生缺页异常,不过这时不用再建立页表了)

    这种请求页机制把页面的分配推迟到不能再推迟为止,并不急于把所有的事情都一次做完(这种思想有点像设计模式中的代理模式(proxy))。之所以能这么做是利用了内存访问的“局部性原理”,请求页带来的好处是节约了空闲内存,提高了系统的吞吐率。要想更清楚地了解请求页机制,可以看看《深入理解linux内核》一书。

    这里我们需要说明在内存区域结构上的nopage操作。当访问的进程虚拟内存并未真正分配页面时,该操作便被调用来分配实际的物理页,并为该页建立页表项。在最后的例子中我们会演示如何使用该方法。

     

     

    系统物理内存管理 

    虽然应用程序操作的对象是映射到物理内存之上的虚拟内存,但是处理器直接操作的却是物理内存。所以当应用程序访问一个虚拟地址时,首先必须将虚拟地址转化成物理地址,然后处理器才能解析地址访问请求。地址的转换工作需要通过查询页表才能完成,概括地讲,地址转换需要将虚拟地址分段,使每段虚地址都作为一个索引指向页表,而页表项则指向下一级别的页表或者指向最终的物理页面。

    每个进程都有自己的页表。进程描述符的pgd域指向的就是进程的页全局目录。下面我们借用《linux设备驱动程序》中的一幅图大致看看进程地址空间到物理页之间的转换关系。

     

     

         上面的过程说起来简单,做起来难呀。因为在虚拟地址映射到页之前必须先分配物理页——也就是说必须先从内核中获取空闲页,并建立页表。下面我们介绍一下内核管理物理内存的机制。

     

    物理内存管理(页管理)

    Linux内核管理物理内存是通过分页机制实现的,它将整个内存划分成无数个4k(在i386体系结构中)大小的页,从而分配和回收内存的基本单位便是内存页了。利用分页管理有助于灵活分配内存地址,因为分配时不必要求必须有大块的连续内存[3],系统可以东一页、西一页的凑出所需要的内存供进程使用。虽然如此,但是实际上系统使用内存时还是倾向于分配连续的内存块,因为分配连续内存时,页表不需要更改,因此能降低TLB的刷新率(频繁刷新会在很大程度上降低访问速度)。

    鉴于上述需求,内核分配物理页面时为了尽量减少不连续情况,采用了“伙伴”关系来管理空闲页面。伙伴关系分配算法大家应该不陌生——几乎所有操作系统方面的书都会提到,我们不去详细说它了,如果不明白可以参看有关资料。这里只需要大家明白Linux中空闲页面的组织和管理利用了伙伴关系,因此空闲页面分配时也需要遵循伙伴关系,最小单位只能是2的幂倍页面大小。内核中分配空闲页面的基本函数是get_free_page/get_free_pages,它们或是分配单页或是分配指定的页面(2、4、8…512页)。

     注意:get_free_page是在内核中分配内存,不同于malloc在用户空间中分配,malloc利用堆动态分配,实际上是调用brk()系统调用,该调用的作用是扩大或缩小进程堆空间(它会修改进程的brk域)。如果现有的内存区域不够容纳堆空间,则会以页面大小的倍数为单位,扩张或收缩对应的内存区域,但brk值并非以页面大小为倍数修改,而是按实际请求修改。因此Malloc在用户空间分配内存可以以字节为单位分配,但内核在内部仍然会是以页为单位分配的。

       另外,需要提及的是,物理页在系统中由页结构struct page描述,系统中所有的页面都存储在数组mem_map[]中,可以通过该数组找到系统中的每一页(空闲或非空闲)。而其中的空闲页面则可由上述提到的以伙伴关系组织的空闲页链表(free_area[MAX_ORDER])来索引。

     

    文本框: 伙伴关系维护

    内核内存使用

    Slab

        所谓尺有所长,寸有所短。以页为最小单位分配内存对于内核管理系统中的物理内存来说的确比较方便,但内核自身最常使用的内存却往往是很小(远远小于一页)的内存块——比如存放文件描述符、进程描述符、虚拟内存区域描述符等行为所需的内存都不足一页。这些用来存放描述符的内存相比页面而言,就好比是面包屑与面包。一个整页中可以聚集多个这些小块内存;而且这些小块内存块也和面包屑一样频繁地生成/销毁。

      为了满足内核对这种小内存块的需要,Linux系统采用了一种被称为slab分配器的技术。Slab分配器的实现相当复杂,但原理不难,其核心思想就是“存储池[4]”的运用。内存片段(小块内存)被看作对象,当被使用完后,并不直接释放而是被缓存到“存储池”里,留做下次使用,这无疑避免了频繁创建与销毁对象所带来的额外负载。

    Slab技术不但避免了内存内部分片(下文将解释)带来的不便(引入Slab分配器的主要目的是为了减少对伙伴系统分配算法的调用次数——频繁分配和回收必然会导致内存碎片——难以找到大块连续的可用内存),而且可以很好地利用硬件缓存提高访问速度。

        Slab并非是脱离伙伴关系而独立存在的一种内存分配方式,slab仍然是建立在页面基础之上,换句话说,Slab将页面(来自于伙伴关系管理的空闲页面链表)撕碎成众多小内存块以供分配,slab中的对象分配和销毁使用kmem_cache_alloc与kmem_cache_free。

     

    Kmalloc

    Slab分配器不仅仅只用来存放内核专用的结构体,它还被用来处理内核对小块内存的请求。当然鉴于Slab分配器的特点,一般来说内核程序中对小于一页的小块内存的请求才通过Slab分配器提供的接口Kmalloc来完成(虽然它可分配32 到131072字节的内存)。从内核内存分配的角度来讲,kmalloc可被看成是get_free_page(s)的一个有效补充,内存分配粒度更灵活了。

    有兴趣的话,可以到/proc/slabinfo中找到内核执行现场使用的各种slab信息统计,其中你会看到系统中所有slab的使用信息。从信息中可以看到系统中除了专用结构体使用的slab外,还存在大量为Kmalloc而准备的Slab(其中有些为dma准备的)。

     

    内核非连续内存分配(Vmalloc)

     

    伙伴关系也好、slab技术也好,从内存管理理论角度而言目的基本是一致的,它们都是为了防止“分片”,不过分片又分为外部分片和内部分片之说,所谓内部分片是说系统为了满足一小段内存区(连续)的需要,不得不分配了一大区域连续内存给它,从而造成了空间浪费;外部分片是指系统虽有足够的内存,但却是分散的碎片,无法满足对大块“连续内存”的需求。无论何种分片都是系统有效利用内存的障碍。slab分配器使得一个页面内包含的众多小块内存可独立被分配使用,避免了内部分片,节约了空闲内存。伙伴关系把内存块按大小分组管理,一定程度上减轻了外部分片的危害,因为页框分配不在盲目,而是按照大小依次有序进行,不过伙伴关系只是减轻了外部分片,但并未彻底消除。你自己比划一下多次分配页面后,空闲内存的剩余情况吧。

    所以避免外部分片的最终思路还是落到了如何利用不连续的内存块组合成“看起来很大的内存块”——这里的情况很类似于用户空间分配虚拟内存,内存逻辑上连续,其实映射到并不一定连续的物理内存上。Linux内核借用了这个技术,允许内核程序在内核地址空间中分配虚拟地址,同样也利用页表(内核页表)将虚拟地址映射到分散的内存页上。以此完美地解决了内核内存使用中的外部分片问题。内核提供vmalloc函数分配内核虚拟内存,该函数不同于kmalloc,它可以分配较Kmalloc大得多的内存空间(可远大于128K,但必须是页大小的倍数),但相比Kmalloc来说,Vmalloc需要对内核虚拟地址进行重映射,必须更新内核页表,因此分配效率上要低一些(用空间换时间)

    与用户进程相似,内核也有一个名为init_mm的mm_strcut结构来描述内核地址空间,其中页表项pdg=swapper_pg_dir包含了系统内核空间(3G-4G)的映射关系。因此vmalloc分配内核虚拟地址必须更新内核页表,而kmalloc或get_free_page由于分配的连续内存,所以不需要更新内核页表。

     

    文本框: 伙伴关系维护文本框: vmalloc文本框: Kmalloc

     

    vmalloc分配的内核虚拟内存与kmalloc/get_free_page分配的内核虚拟内存位于不同的区间,不会重叠。因为内核虚拟空间被分区管理,各司其职。进程空间地址分布从0到3G(其实是到PAGE_OFFSET,在0x86中它等于0xC0000000),从3G到vmalloc_start这段地址是物理内存映射区域(该区域中包含了内核镜像、物理页面表mem_map等等)比如我使用的系统内存是64M(可以用free看到),那么(3G——3G+64M)这片内存就应该映射到物理内存,而vmalloc_start位置应在3G+64M附近(说"附近"因为是在物理内存映射区与vmalloc_start期间还会存在一个8M大小的gap来防止跃界),vmalloc_end的位置接近4G(说"接近"是因为最后位置系统会保留一片128k大小的区域用于专用页面映射,还有可能会有高端内存映射区,这些都是细节,这里我们不做纠缠)。

     

     

     

    上图是内存分布的模糊轮廓

     

       由get_free_page或Kmalloc函数所分配的连续内存都陷于物理映射区域,所以它们返回的内核虚拟地址和实际物理地址仅仅是相差一个偏移量(PAGE_OFFSET),你可以很方便的将其转化为物理内存地址,同时内核也提供了virt_to_phys()函数将内核虚拟空间中的物理映射区地址转化为物理地址。要知道,物理内存映射区中的地址与内核页表是有序对应的,系统中的每个物理页面都可以找到它对应的内核虚拟地址(在物理内存映射区中的)。

    而vmalloc分配的地址则限于vmalloc_start与vmalloc_end之间。每一块vmalloc分配的内核虚拟内存都对应一个vm_struct结构体(可别和vm_area_struct搞混,那可是进程虚拟内存区域的结构),不同的内核虚拟地址被4k大小的空闲区间隔,以防止越界——见下图)。与进程虚拟地址的特性一样,这些虚拟地址与物理内存没有简单的位移关系,必须通过内核页表才可转换为物理地址或物理页。它们有可能尚未被映射,在发生缺页时才真正分配物理页面。

     

    这里给出一个小程序帮助大家认清上面几种分配函数所对应的区域。

    #include<linux/module.h>

    #include<linux/slab.h>

    #include<linux/vmalloc.h>

    unsigned char *pagemem;

    unsigned char *kmallocmem;

    unsigned char *vmallocmem;

    int init_module(void)

    {

     pagemem = get_free_page(0);

     printk("<1>pagemem=%s",pagemem);

     kmallocmem = kmalloc(100,0);

     printk("<1>kmallocmem=%s",kmallocmem);

     vmallocmem = vmalloc(1000000);

     printk("<1>vmallocmem=%s",vmallocmem);

    }

    void cleanup_module(void)

    {

     free_page(pagemem);

     kfree(kmallocmem);

     vfree(vmallocmem);

    }

     

    实例

    内存映射(mmap)是Linux操作系统的一个很大特色,它可以将系统内存映射到一个文件(设备)上,以便可以通过访问文件内容来达到访问内存的目的。这样做的最大好处是提高了内存访问速度,并且可以利用文件系统的接口编程(设备在Linux中作为特殊文件处理)访问内存,降低了开发难度。许多设备驱动程序便是利用内存映射功能将用户空间的一段地址关联到设备内存上,无论何时,只要内存在分配的地址范围内进行读写,实际上就是对设备内存的访问。同时对设备文件的访问也等同于对内存区域的访问,也就是说,通过文件操作接口可以访问内存。Linux中的X服务器就是一个利用内存映射达到直接高速访问视频卡内存的例子。

    熟悉文件操作的朋友一定会知道file_operations结构中有mmap方法,在用户执行mmap系统调用时,便会调用该方法来通过文件访问内存——不过在调用文件系统mmap方法前,内核还需要处理分配内存区域(vma_struct)、建立页表等工作。对于具体映射细节不作介绍了,需要强调的是,建立页表可以采用remap_page_range方法一次建立起所有映射区的页表,或利用vma_struct的nopage方法在缺页时现场一页一页的建立页表。第一种方法相比第二种方法简单方便、速度快, 但是灵活性不高。一次调用所有页表便定型了,不适用于那些需要现场建立页表的场合——比如映射区需要扩展或下面我们例子中的情况。

     

    我们这里的实例希望利用内存映射,将系统内核中的一部分虚拟内存映射到用户空间,以供应用程序读取——你可利用它进行内核空间到用户空间的大规模信息传输。因此我们将试图写一个虚拟字符设备驱动程序,通过它将系统内核空间映射到用户空间——将内核虚拟内存映射到用户虚拟地址。从上一节已经看到Linux内核空间中包含两种虚拟地址:一种是物理和逻辑都连续的物理内存映射虚拟地址;另一种是逻辑连续但非物理连续的vmalloc分配的内存虚拟地址。我们的例子程序将演示把vmalloc分配的内核虚拟地址映射到用户地址空间的全过程。

    程序里主要应解决两个问题:

    第一是如何将vmalloc分配的内核虚拟内存正确地转化成物理地址?

    因为内存映射先要获得被映射的物理地址,然后才能将其映射到要求的用户虚拟地址上。我们已经看到内核物理内存映射区域中的地址可以被内核函数virt_to_phys转换成实际的物理内存地址,但对于vmalloc分配的内核虚拟地址无法直接转化成物理地址,所以我们必须对这部分虚拟内存格外“照顾”——先将其转化成内核物理内存映射区域中的地址,然后在用virt_to_phys变为物理地址。

    转化工作需要进行如下步骤:

    a)         找到vmalloc虚拟内存对应的页表,并寻找到对应的页表项。

    b)        获取页表项对应的页面指针

    c)        通过页面得到对应的内核物理内存映射区域地址

    如下图所示:

    第二是当访问vmalloc分配区时,如果发现虚拟内存尚未被映射到物理页,则需要处理“缺页异常”。因此需要我们实现内存区域中的nopaga操作,以能返回被映射的物理页面指针,在我们的实例中就是返回上面过程中的内核物理内存映射区域中的地址由于vmalloc分配的虚拟地址与物理地址的对应关系并非分配时就可确定,必须在缺页现场建立页表,因此这里不能使用remap_page_range方法,只能用vma的nopage方法一页一页的建立。

     

     

    程序组成

    map_driver.c,它是以模块形式加载的虚拟字符驱动程序。该驱动负责将一定长的内核虚拟地址(vmalloc分配的)映射到设备文件上。其中主要的函数有——vaddress_to_kaddress()负责对vmalloc分配的地址进行页表解析,以找到对应的内核物理映射地址(kmalloc分配的地址);map_nopage()负责在进程访问一个当前并不存在的VMA页时,寻找该地址对应的物理页,并返回该页的指针。

    test.c 它利用上述驱动模块对应的设备文件在用户空间读取读取内核内存。结果可以看到内核虚拟地址的内容(ok!),被显示在了屏幕上。

     

    执行步骤

    编译map_driver.c为map_driver.o模块,具体参数见Makefile

    加载模块 :insmod map_driver.o

    生成对应的设备文件

    1 在/proc/devices下找到map_driver对应的设备命和设备号:grep mapdrv /proc/devices

    2 建立设备文件mknod  mapfile c 254 0  (在我的系统里设备号为254)

        利用maptest读取mapfile文件,将取自内核的信息打印到屏幕上。

     

    转自https://blog.csdn.net/hustyangju/article/details/46330259

    展开全文
  • 在介绍内存管理的细节前,先要了解一下分层存储器体系: 大部分的计算机都有一个存储器层次结构,即少量的非常快速、昂贵、易变的高速缓存(cache);若干兆字节的中等速度、中等价格、易变的主存储器(RAM);...

    操作系统内存管理:总的来说,操作系统内存管理包括物理内存管理和虚拟内存管理。

    物理内存管理:

           包括程序装入等概念、交换技术、连续分配管理方式和非连续分配管理方式(分页、分段、段页式)。

    虚拟内存管理:
          虚拟内存管理包括虚拟内存概念、请求分页管理方式、页面置换算法、页面分配策略、工作集和抖动。

          这个系列主要使用linux内存管理来具体说明:linux内存管理

     

    一、 计算机的存储体系


    内存是计算机很重要的一个资源,因为程序只有被加载到内存中才可以运行;此外,CPU所需要的指令与数据也都是来自内存的。可以说,内存是影响计算机性能的一个很重要的因素。

    分层存储器体系

    在介绍内存管理的细节前,先要了解一下分层存储器体系:

    大部分的计算机都有一个存储器层次结构,即少量的非常快速、昂贵、易变的高速缓存(cache);若干兆字节的中等速度、中等价格、易变的主存储器(RAM);数百兆或数千兆的低速、廉价、不易变的磁盘。这些资源的合理使用与否直接关系着系统的效率。

    CPU缓存(Cache Memory):是位于CPU与内存之间的临时存储器,它的容量比内存小的多但是交换速度却比内存要快得多。缓存的出现主要是为了解决CPU运算速度与内存 读写速度不匹配的矛盾,因为CPU运算速度要比内存读写速度快很多,这样会使CPU花费很长时间等待数据到来或把数据写入内存。

    计算机是一种数据处理设备,它由CPU和内存以及外部设备组成。CPU负责数据处理,内存负责存储,外部设备负责数据的输入和输出,它们之间通过总线连接在一起。CPU内部主要由控制器、运算器和寄存器组成。控制器负责指令的读取和调度,运算器负责指令的运算执行,寄存器负责数据的存储,它们之间通过CPU内的总线连接在一起。每个外部设备(例如:显示器、硬盘、键盘、鼠标、网卡等等)则是由外设控制器、I/O端口、和输入输出硬件组成。外设控制器负责设备的控制和操作,I/O端口负责数据的临时存储,输入输出硬件则负责具体的输入输出,它们间也通过外部设备内的总线连接在一起。

    上面计算机系统结构图中我们可以看出硬件系统的这种组件化的设计思路总是贯彻到各个环节。

     在这套设计思想(冯.诺依曼体系架构)里面:  总是有一部分负责控制、一部分负责执行、一部分则负责存储,它之间进行交互以及接口通信则总是通过总线来完成。这种设计思路一样的可以应用在我们的软件设计体系里面:组件和组件之间通信通过事件的方式来进行解耦处理,而一个组件内部同样也需要明确好各个部分的职责(一部分负责调度控制、一部分负责执行实现、一部分负责数据存储)。

     

    计算存储的层次结构

    当前技术没有能够提供这样的存储器,因此大部分的计算机都有一个存储器层次结构:

    高速缓存(cache): 少量的非常快速、昂贵、易变的高速缓存(cache);

    主存储器(RAM): 若干兆字节的中等速度、中等价格、易变的主存储器(RAM);

    磁盘:  数百兆或数千兆的低速、廉价、不易变的磁盘。

    这些资源的合理使用与否直接关系着系统的效率。

     

    二、内存使用演化


    1、没有内存抽象的年代

    在早些的操作系统中,并没有引入内存抽象的概念。程序直接访问和操作的都是物理内存,内存的管理也非常简单,除去操作系统所用的内存之外,全部给用户程序使用,想怎么折腾都行,只要别超出最大的容量。比如当执行如下指令时:mov reg1,1000

    1、无内存抽象存在的问题:

    这条指令会毫无想象力的将物理地址1000中的内容赋值给寄存器。不难想象,这种内存操作方式使得操作系统中存在多进程变得完全不可能,比如MS-DOS,你必须执行完一条指令后才能接着执行下一条。如果是多进程的话,由于直接操作物理内存地址,当一个进程给内存地址1000赋值后,另一个进程也同样给内存地址赋值,那么第二个进程对内存的赋值会覆盖第一个进程所赋的值,这回造成两条进程同时崩溃。

    带来两个问题:

    1. 用户程序可以访问任意内存,容易破坏操作系统,造成崩溃

    2. 同时运行多个程序特别困难

    随着计算机技术发展,要求操作系统支持多进程的需求,所谓多进程,并不需要同时运行这些进程,只要它们都处于 ready 状态,操作系统快速地在它们之间切换,就能达到同时运行的假象。每个进程都需要内存,Context Switch 时,之前内存里的内容怎么办?简单粗暴的方式就是先 dump 到磁盘上,然后再从磁盘上 restore 之前 dump 的内容(如果有的话),但效果并不好,太慢了!

    2、内存抽象:地址空间

    那怎么才能不慢呢?把进程对应的内存依旧留在物理内存中,需要的时候就切换到特定的区域。这就涉及到了内存的保护机制,毕竟进程之间可以随意读取、写入内容就乱套了,非常不安全。因此操作系统需要对物理内存做一层抽象,也就是「地址空间」(Address Space),一个进程的地址空间包含了该进程所有相关内存,比如 code / stack / heap。一个 16 KB 的地址空间可能长这样:

    当程序运行时,heap 和 stack 共用中间 free 的区域,当然这只是 OS 层面的抽象。比如下面这段代码:

    int x;
    
    x = x + 3; // this is the line of code we are interested in

    变成汇编指令后,大概是这样:

    128: movl 0x0(%ebx), %eax  ;load 0+ebx into eax
    132: addl $0x03, %eax ;add 3 to eax register
    135: movl %eax, 0x0(%ebx) ;store eax back to mem

    最前面的是 PC (Program Counter),用来表示当前 code 的索引,比如 CPU 执行到 128 时,进行了 Context Switch(上下文切换),那么在 Switch 回来后,还可以接着从 132 开始执行(当然需要先把 PC 存起来)。之后的就是汇编代码,告诉 CPU 该如何操作。

    从进程的角度看,内存可能是这样的:

    真实的物理内存可能是这样的:

    基址寄存器与界限寄存器可以简单的动态重定位:每个内存地址送到内存之前,都会自动加上基址寄存器的内容。

    从 32KB 处作为开始,48KB 作为结束。那 32 / 48 可不可以动态设置呢,只要在 CPU 上整两个寄存器,基址寄存器base 和 界限寄存器bounds 就可以了,base 指明从哪里开始,bounds 指定哪里是边界。 因此真实物理地址和虚拟地址之间的关系是:

    physical address = virtual address + base

    有时,CPU 上用来做内存地址翻译的也会被叫做「内存管理单元 MMU」(Memory Management Unit),随着功能越来越强大,MMU 也会变得越来越复杂。

    base and bounds 这种做法最大的问题在于空间浪费,Stack 和 Heap 中间有一块 free space,即使没有用,也被占着,那如何才能解放这块区域呢,进入虚拟内存。

     

    3、虚拟内存

    虚拟内存是现代操作系统普遍使用的一种技术。前面所讲的抽象满足了多进程的要求,但很多情况下,现有内存无法满足仅仅一个大进程的内存要求。物理内存不够用的情况下,如何解决呢?

     覆盖overlays:在早期的操作系统曾使用覆盖技术来解决这个问题,将一个程序分为多个块,基本思想是先将块0加入内存,块0执行完后,将块1加入内存。依次往复,这个解决方案最大的问题是需要程序员去程序进行分块,这是一个费时费力让人痛苦不堪的过程。后来这个解决方案的修正版就是虚拟内存。
    交换swapping:可以将暂时不能执行的程序(进程)送到外存中,从而获得空闲内存空间来装入新程序(进程),或读人保存在外存中而处于就绪状态的程序。

    虚拟内存:虚拟内存的基本思想是,每个进程有用独立的逻辑地址空间,内存被分为大小相等的多个块,称为(Page).每个页都是一段连续的地址。对于进程来看,逻辑上貌似有很多内存空间,其中一部分对应物理内存上的一块(称为页框,通常页和页框大小相等),还有一些没加载在内存中的对应在硬盘上。

     

    三. 物理内存:连续分配存储管理方式


          连续分配是指为一个用户程序分配连续的内存空间。连续分配有单一连续存储管理和分区式储管理两种方式。

    3.1 单一连续存储管理

         在这种管理方式中,内存被分为两个区域:系统区和用户区。应用程序装入到用户区,可使用用户区全部空间。其特点是,最简单,适用于单用户、单任务的操作系统。CP/M和 DOS 2.0以下就是采用此种方式。这种方式的最大优点就是易于管理。但也存在着一些问题和不足之处,例如对要求内存空间少的程序,造成内存浪费;程序全部装入,使得很少使用的程序部分也占用—定数量的内存。

    3.2 分区式存储管理

           为了支持多道程序系统和分时系统,支持多个程序并发执行,引入了分区式存储管理。分区式存储管理是把内存分为一些大小相等或不等的分区,操作系统占用其中一个分区,其余的分区由应用程序使用,每个应用程序占用一个或几个分区。分区式存储管理虽然可以支持并发,但难以进行内存分区的共享。

           分区式存储管理引人了两个新的问题:内碎片和外碎片

          内碎片是占用分区内未被利用的空间,外碎片是占用分区之间难以利用的空闲分区(通常是小空闲分区)。

           为实现分区式存储管理,操作系统应维护的数据结构为分区表或分区链表。表中各表项一般包括每个分区的起始地址、大小及状态(是否已分配)。

          分区式存储管理常采用的一项技术就是内存紧缩(compaction)。

    3.2.1 固定分区(nxedpartitioning)。

            固定式分区的特点是把内存划分为若干个固定大小的连续分区。分区大小可以相等:这种作法只适合于多个相同程序的并发执行(处理多个类型相同的对象)。分区大小也可以不等:有多个小分区、适量的中等分区以及少量的大分区。根据程序的大小,分配当前空闲的、适当大小的分区。

          优点:易于实现,开销小。

          缺点主要有两个:内碎片造成浪费;分区总数固定,限制了并发执行的程序数目。

    3.2.2动态分区(dynamic partitioning)。

            动态分区的特点是动态创建分区:在装入程序时按其初始要求分配,或在其执行过程中通过系统调用进行分配或改变分区大小。与固定分区相比较其优点是:没有内碎片。但它却引入了另一种碎片——外碎片。动态分区的分区分配就是寻找某个空闲分区,其大小需大于或等于程序的要求。若是大于要求,则将该分区分割成两个分区,其中一个分区为要求的大小并标记为“占用”,而另一个分区为余下部分并标记为“空闲”。分区分配的先后次序通常是从内存低端到高端。动态分区的分区释放过程中有一个要注意的问题是,将相邻的空闲分区合并成一个大的空闲分区。

    下面列出了几种常用的分区分配算法:

            最先适配法(nrst-fit):按分区在内存的先后次序从头查找,找到符合要求的第一个分区进行分配。该算法的分配和释放的时间性能较好,较大的空闲分区可以被保留在内存高端。但随着低端分区不断划分会产生较多小分区,每次分配时查找时间开销便会增大。

           下次适配法(循环首次适应算法 next fit):按分区在内存的先后次序,从上次分配的分区起查找(到最后{区时再从头开始},找到符合要求的第一个分区进行分配。该算法的分配和释放的时间性能较好,使空闲分区分布得更均匀,但较大空闲分区不易保留。

           最佳适配法(best-fit):按分区在内存的先后次序从头查找,找到其大小与要求相差最小的空闲分区进行分配。从个别来看,外碎片较小;但从整体来看,会形成较多外碎片优点是较大的空闲分区可以被保留。

           最坏适配法(worst- fit):按分区在内存的先后次序从头查找,找到最大的空闲分区进行分配。基本不留下小空闲分区,不易形成外碎片。但由于较大的空闲分区不被保留,当对内存需求较大的进程需要运行时,其要求不易被满足。

    3.3 伙伴系统

            固定分区和动态分区方式都有不足之处。固定分区方式限制了活动进程的数目,当进程大小与空闲分区大小不匹配时,内存空间利用率很低。动态分区方式算法复杂,回收空闲分区时需要进行分区合并等,系统开销较大。伙伴系统方式是对以上两种内存方式的一种折衷方案。
            伙伴系统规定,无论已分配分区或空闲分区,其大小均为 2 的 k 次幂,k 为整数, l≤k≤m,其中:

            2^1 表示分配的最小分区的大小,

            2^m 表示分配的最大分区的大小,

            通常 2^m是整个可分配内存的大小。
            假设系统的可利用空间容量为2^m个字, 则系统开始运行时, 整个内存区是一个大小为2^m的空闲分区。在系统运行过中, 由于不断的划分,可能会形成若干个不连续的空闲分区,将这些空闲分区根据分区的大小进行分类,对于每一类具有相同大小的所有空闲分区,单独设立一个空闲分区双向链表。这样,不同大小的空闲分区形成了k(0≤k≤m)个空闲分区链表。 

           分配步骤:

           当需要为进程分配一个长度为n 的存储空间时:

           首先计算一个i 值,使 2^(i-1) <n ≤ 2^i,

           然后在空闲分区大小为2^i的空闲分区链表中查找。

           若找到,即把该空闲分区分配给进程。

           否则,表明长度为2^i的空闲分区已经耗尽,则在分区大小为2^(i+1)的空闲分区链表中寻找。

           若存在 2^(i+1)的一个空闲分区,则把该空闲分区分为相等的两个分区,这两个分区称为一对伙伴,其中的一个分区用于配,   而把另一个加入分区大小为2^i的空闲分区链表中。

           若大小为2^(i+1)的空闲分区也不存在,则需要查找大小为2^(i+2)的空闲分区, 若找到则对其进行两次分割:

                  第一次,将其分割为大小为 2^(i+1)的两个分区,一个用于分配,一个加入到大小为 2^(i+1)的空闲分区链表中;

                  第二次,将第一次用于分配的空闲区分割为 2^i的两个分区,一个用于分配,一个加入到大小为 2^i的空闲分区链表中。

          若仍然找不到,则继续查找大小为 2^(i+3)的空闲分区,以此类推。

          由此可见,在最坏的情况下,可能需要对 2^k的空闲分区进行 k 次分割才能得到所需分区。

          与一次分配可能要进行多次分割一样,一次回收也可能要进行多次合并,如回收大小为2^i的空闲分区时,若事先已存在2^i的空闲分区时,则应将其与伙伴分区合并为大小为2^i+1的空闲分区,若事先已存在2^i+1的空闲分区时,又应继续与其伙伴分区合并为大小为2^i+2的空闲分区,依此类推。
            在伙伴系统中,其分配和回收的时间性能取决于查找空闲分区的位置和分割、合并空闲分区所花费的时间。与前面所述的多种方法相比较,由于该算法在回收空闲分区时,需要对空闲分区进行合并,所以其时间性能比前面所述的分类搜索算法差,但比顺序搜索算法好,而其空间性能则远优于前面所述的分类搜索法,比顺序搜索法略差。 需要指出的是,在当前的操作系统中,普遍采用的是下面将要讲述的基于分页和分段机制的虚拟内存机制,该机制较伙伴算法更为合理和高效,但在多处理机系统中,伙伴系统仍不失为一种有效的内存分配和释放的方法,得到了大量的应用。

    3.4 内存紧缩(内存碎片化处理)

              内存紧缩:将各个占用分区向内存一端移动,然后将各个空闲分区合并成为一个空闲分区。

            这种技术在提供了某种程度上的灵活性的同时,也存在着一些弊端,例如:对占用分区进行内存数据搬移占用CPU时间;如果对占用分区中的程序进行“浮动”,则其重定位需要硬件支持。

              紧缩时机:每个分区释放后,或内存分配找不到满足条件的空闲分区时。

           

                                   图8.12

          堆结构的存储管理的分配算法:

          在动态存储过程中,不管哪个时刻,可利用空间都是-一个地址连续的存储区,在编译程序中称之为"堆",每次分配都是从这个可利用空间中划出一块。其实现办法是:设立一个指針,称之为堆指针,始终指向堆的最低(或锻联)地址。当用户申请N个单位的存储块时,堆指针向高地址(或 低地址)称动N个存储单位,而移动之前的堆指针的值就是分配给用户的占用块的初始地址。例如,某个串处理系统中有A、B、C、D这4个串,其串值长度分别為12,6,10和8. 假设堆指针free的初值为零,则分配给这4个串值的存储空间的初始地址分别为0.12.18和 28,如图8.12(a)和(b)所示,分配后的堆指针的值为36。 因此,这种堆结构的存储管理的分配算法非常简单

         释放内存空间执行内存紧缩:

         回收用户释放的空闲块就比较麻烦.由于系统的可利用空间始终是一个绝址连续的存储块,因此回收时必须将所释放的空间块合并到整个堆上去才 能重新使用,这就是"存储策缩"的任务.通常,有两种做法:

          一种是一旦有用户释放存储块即进行回收紧缩,例始,图8.12 (a)的堆,在c串释放存储块时即回收紧缩,例如图8.12 (c)的堆,同时修改串的存储映像成图8.12(d)的状态;

         另一种是在程序执行过程中不回收用户随时释放的存储块,直到可利用空同不够分配或堆指针指向最高地址时才进行存储紧缩。此时紧缩的目的是将堆中所有的空间块连成一块,即将所有的占用块部集中到 可利用空间的低地地区,而剩余的高地址区成为一整个地继连续的空闲块,如图8.13所示,其中(a)为紧缩前的状态,(b)为紧缩后的状态•

          

                         图8.13  a 紧缩前 b紧缩后

           和无用单元收集类似,为实现存储紫编,首先要对占用块进行“标志”,标志算法和无用单元收集类同(存储块的结构可能不同),其次需进行下列4步雄作:

          (1)计算占用块的新地址。从最低地址开始巡査整个存储空间,对每一个占用块找到它在紧缩后的新地址。 为此,需设立两个指针随巡查向前移动,这两个指针分别指示占用 块在紧缩之前和之后的原地址和新地址。因此,在每个占用块的第-·个存储单位中,除了 设立长度域(存储该占用换的大小)和标志域(存储区别该存储块是占用块或空闲块的标 志)之外,还需设立一个新地址城,以存储占用块在紧缩后应有的新地址,即建立一张新, 旧地址的对照表m

           (2)修改用户触初始变量表,以便在存储紧缩后用户程序能继续正常运行*。

           (3)检查每个占用块中存储的数据, 若有指向其他存储换的指针,则需作相应修改.

           (4)将所有占用块迁移到新地址走,这实质上是作传送数据的工作。

           至此,完成了存储紧缩的操作,最后,将堆指针赋以新值(即紧缩后的空闲存储区的最低地址)。

           可见,存储紧缩法比无用单元收集法更为复杂,前者不仅要传送数据(进行占用块迁移),而且还有需要修改所有占用块中的指针值。因此,存储紧缩也是个系统操作,且非不得已就不用。

     

    3.5 覆盖技术

            引入覆盖 (overlay)技术的目标是在较小的可用内存中运行较大的程序。这种技术常用于多道程序系统之中,与分区式存储管理配合使用。

           覆盖技术的原理:一个程序的几个代码段或数据段,按照时间先后来占用公共的内存空间。将程序必要部分(常用功能)的代码和数据常驻内存;可选部分(不常用功能)平时存放在外存(覆盖文件)中,在需要时才装入内存。不存在调用关系的模块不必同时装入到内存,从而可以相互覆盖。

           在任何时候只在内存中保留所需的指令和数据;当需要其它指令时,它们会装入到刚刚不再需要的指令所占用的内存空间;

           如在同一时刻,CPU只能执行B,C中某一条。B,C之间就可以做覆盖。

          

     

           覆盖技术的缺点是编程时必须划分程序模块和确定程序模块之间的覆盖关系,增加编程复杂度;从外存装入覆盖文件,以时间延长换取空间节省。

          覆盖的实现方式有两种:以函数库方式实现或操作系统支持。

    3.6 交换技术

          交换 (swapping)技术在多个程序并发执行时,可以将暂时不能执行的程序(进程)送到外存中,从而获得空闲内存空间来装入新程序(进程),或读人保存在外存中而处于就绪状态的程序。交换单位为整个进程的地址空间。交换技术常用于多道程序系统或小型分时系统中,因为这些系统大多采用分区存储管理方式。与分区式存储管理配合使用又称作“对换”或“滚进/滚出” (roll-in/roll-out)。

          原理:暂停执行内存中的进程,将整个进程的地址空间保存到外存的交换区中(换出swap out),而将外存中由阻塞变为就绪的进程的地址空间读入到内存中,并将该进程送到就绪队列(换入swap in)。

         交换技术优点之一是增加并发运行的程序数目,并给用户提供适当的响应时间;与覆盖技术相比交换技术另一个显著的优点是不影响程序结构。交换技术本身也存在着不足,例如:对换人和换出的控制增加处理器开销;程序整个地址空间都进行对换,没有考虑执行过程中地址访问的统计特性。

    3.7 覆盖与交换比较

           1)与覆盖技术相比,交换不要求程序员给出程序段之间的覆盖结构。

           2)交换主要是在进程与作业之间进行,而覆盖则主要在同一作业或进程内进行。 另外覆盖只能覆盖那些与覆盖程序段无关的程序段。

     

    四. 物理内存非连续:页式和段式存储管理


           在前面的几种存储管理方法中,为进程分配的空间是连续的,使用的地址都是物理地址。如果允许将一个进程分散到许多不连续的空间,就可以避免内存紧缩,减少碎片。基于这一思想,通过引入进程的逻辑地址,把进程地址空间与实际存储空间分离,增加存储管理的灵活性。地址空间和存储空间两个基本概念的定义如下:

    地址空间:将源程序经过编译后得到的目标程序,存在于它所限定的地址范围内,这个范围称为地址空间。地址空间是逻辑地址的集合。

    存储空间:指主存中一系列存储信息的物理单元的集合,这些单元的编号称为物理地址存储空间是物理地址的集合。

    根据分配时所采用的基本单位不同,可将离散分配的管理方式分为以下三种:
    页式存储管理、段式存储管理和段页式存储管理。其中段页式存储管理是前两种结合的产物。

    页式和段式管理区别

    页式和段式系统有许多相似之处。比如,两者都采用离散分配方式,且都通过地址映射机构来实现地址变换。但概念上两者也有很多区别,主要表现在:

          1)、需求:是信息的物理单位,分页是为了实现离散分配方式,以减少内存的碎片,提高内存的利用率。或者说,分页仅仅是由于系统管理的需要,而不是用户的需要。段是信息的逻辑单位,它含有一组其意义相对完整的信息。分段的目的是为了更好地满足用户的需要。

        一条指令或一个操作数可能会跨越两个页的分界处,而不会跨越两个段的分界处。

         2)、大小:页大小固定且由系统决定,把逻辑地址划分为页号和页内地址两部分,是由机器硬件实现的。段的长度不固定,且决定于用户所编写的程序,通常由编译系统在对源程序进行编译时根据信息的性质来划分。

         3)、逻辑地址表示:页式系统地址空间是一维的,即单一的线性地址空间,程序员只需利用一个标识符,即可表示一个地址。分段的作业地址空间是二维的,程序员在标识一个地址时,既需给出段名,又需给出段内地址。

         4)、比页大,因而段表比页表短,可以缩短查找时间,提高访问速度。

     

    五. 页式存储管理


    5.1 基本原理

            将程序的逻辑地址空间划分为固定大小的页(page),而物理内存划分为同样大小的页框(page frame)。程序加载时,可将任意一页放人内存中任意一个页框,这些页框不必连续,从而实现了离散分配。该方法需要CPU的硬件支持,来实现逻辑地址和物理地址之间的映射。在页式存储管理方式中地址结构由两部构成,前一部分是页号,后一部分为页内地址w(位移量),如图4所示:

          

          页式管理方式的优点是:

           1)没有外碎片,每个内碎片不超过页大比前面所讨论的几种管理方式的最大进步是,

           2)一个程序不必连续存放。

           3)便于改变程序占用空间的大小(主要指随着程序运行,动态生成的数据增多,所要求的地址空间相应增长)。

          缺点是:要求程序全部装入内存,没有足够的内存,程序就不能执行。

    5.2 页式管理的数据结构

             在页式系统中进程建立时,操作系统为进程中所有的页分配页框。当进程撤销时收回所有分配给它的页框。在程序的运行期间,如果允许进程动态地申请空间,操作系统还要为进程申请的空间分配物理页框。操作系统为了完成这些功能,必须记录系统内存中实际的页框使用情况。操作系统还要在进程切换时,正确地切换两个不同的进程地址空间到物理内存空间的映射。这就要求操作系统要记录每个进程页表的相关信息。为了完成上述的功能,—个页式系统中,一般要采用如下的数据结构。

            进程页表:完成逻辑页号(本进程的地址空间)到物理页面号(实际内存空间,也叫块号)的映射。
            每个进程有一个页表,描述该进程占用的物理页面及逻辑排列顺序,如图:

           

                                     图4-1 页表

            物理页面表:整个系统有一个物理页面表,描述物理内存空间的分配使用状况,其数据结构可采用位示图和空闲页链表

            对于位示图法,即如果该页面已被分配,则对应比特位置1,否置0.

           

                                      图4-2 页面表

            请求表:整个系统有一个请求表,描述系统内各个进程页表的位置和大小,用于地址转换也可以结合到各进程的PCB(进程控制块)里。如图:

          

                                           图4-3 请求表

    5.3 页式管理地址变换

           在页式系统中,指令所给出的地址分为两部分:逻辑页号和页内地址。

           原理:CPU中的内存管理单元(MMU)按逻辑页号通过查进程页表得到物理页框号,将物理页框号与页内地址相加形成物理地址(见图4-4)。

            逻辑页号,页内偏移地址->查进程页表,得物理页号->物理地址:

           

                                           图4-4 页式管理的地址变换

           上述过程通常由处理器的硬件直接完成,不需要软件参与。通常,操作系统只需在进程切换时,把进程页表的首地址装入处理器特定的寄存器中即可。一般来说,页表存储在主存之中。这样处理器每访问一个在内存中的操作数,就要访问两次内存:

           第一次用来查找页表将操作数的 逻辑地址变换为物理地址;

           第二次完成真正的读写操作。       

          这样做时间上耗费严重。为缩短查找时间,可以将页表从内存装入CPU内部的关联存储器(例如,快表) 中,实现按内容查找。此时的地址变换过程是:在CPU给出有效地址后,由地址变换机构自动将页号送人快表,并将此页号与快表中的所有页号进行比较,而且这 种比较是同时进行的。若其中有与此相匹配的页号,表示要访问的页的页表项在快表中。于是可直接读出该页所对应的物理页号,这样就无需访问内存中的页表。由于关联存储器的访问速度比内存的访问速度快得多。

     

     

    六. 段式存储管理


    6.1 基本原理

            在段式存储管理中,将程序的地址空间划分为若干个段(segment),这样每个进程有一个二维的地址空间。在前面所介绍的动态分区分配方式中,系统为整个进程分配一个连续的内存空间。而在段式存储管理系统中,则为每个段分配一个连续的分区,而进程中的各个段可以不连续地存放在内存的不同分区中。程序加载时,操作系统为所有段分配其所需内存,这些段不必连续,物理内存的管理采用动态分区的管理方法。

          在为某个段分配物理内存时,可以采用首先适配法、下次适配法、最佳适配法等方法。

          在回收某个段所占用的空间时,要注意将收回的空间与其相邻的空间合并。

          段式存储管理也需要硬件支持,实现逻辑地址到物理地址的映射。

          程序通过分段划分为多个模块,如代码段、数据段、共享段:

          –可以分别编写和编译

          –可以针对不同类型的段采取不同的保护

          –可以按段为单位来进行共享,包括通过动态链接进行代码共享

          这样做的优点是:可以分别编写和编译源程序的一个文件,并且可以针对不同类型的段采取不同的保护,也可以按段为单位来进行共享。

           总的来说,段式存储管理的优点是:没有内碎片,外碎片可以通过内存紧缩来消除;便于实现内存共享。缺点与页式存储管理的缺点相同,进程必须全部装入内存。

    6.2 段式管理的数据结构

             为了实现段式管理,操作系统需要如下的数据结构来实现进程的地址空间到物理内存空间的映射,并跟踪物理内存的使用情况,以便在装入新的段的时候,合理地分配内存空间。

           ·进程段表:描述组成进程地址空间的各段,可以是指向系统段表中表项的索引。每段有段基址(baseaddress),即段内地址。

            在系统中为每个进程建立一张段映射表,如图:

            

           ·系统段表:系统所有占用段(已经分配的段)。

          

           ·空闲段表:内存中所有空闲段,可以结合到系统段表中。

    6.3 段式管理的地址变换

                                 

                                                                      图4—5 段式管理的地址变换

            在段式 管理系统中,整个进程的地址空间是二维的,即其逻辑地址由段号和段内地址两部分组成。为了完成进程逻辑地址到物理地址的映射,处理器会查找内存中的段表,由段号得到段的首地址,加上段内地址,得到实际的物理地址(见图4—5)。这个过程也是由处理器的硬件直接完成的,操作系统只需在进程切换时,将进程段表的首地址装入处理器的特定寄存器当中。这个寄存器一般被称作段表地址寄存器。

     

    展开全文
  • 内存管理 设计程序模拟内存的动态分区内存管理方法。内存空闲区使用空闲分区表进行管理,采用最先适应算法从空闲分区表中寻找空闲区进行分配,内存回收时不考虑与相邻空闲区的合并。 假定系统的内存共640K,初始...

    内存管理

    设计程序模拟内存的动态分区内存管理方法。内存空闲区使用空闲分区表进行管理,采用最先适应算法从空闲分区表中寻找空闲区进行分配,内存回收时不考虑与相邻空闲区的合并。
    假定系统的内存共640K,初始状态为操作系统本身占用40K。

    t1 时刻,为作业A、B、C分配80K、60K、100K、的内存空间;
    t2 时刻作业B完成;
    t3 时刻为作业D分配50K的内存空间;
    t4 时刻作业C、A完成;
    t5 时刻作业D完成。

    要求编程序分别输出t1、t2、t3、t4、t5时刻内存的空闲区的状态。

    流程图:
    在这里插入图片描述

    数据结构定义:

    //进程PCB类型的描述
    struct PCB
    {
    	char name;    //进程名
    	int address;   //进程分区起止
    	int len;      //进程所占分区长度
    };
    struct PCB PCBelem[maxPCB];//进程占用内存表
    //分区类型的描述
    struct Part
    {
    	int address;	//空闲分区起始地址
    	int len;		//空闲分区大小
    };
    struct Part Partelem[maxPart]; //空闲分区表
    

    主要变量说明:

    int length = 640 ;		//系统有 640 KB 的空闲
    int fnum = 0;			//记录总的分区数量
    int jnum = 0;			//记录总的进程数量
    int leng = 0;			//临时变量
    

    函数说明:

    void init4IOS(int tem) 		//为操作系统分配40k内存
    int getTagByPcb(char name) 	//判定输入的进程是否存在以及位置
    void request()				//进程分配请求
    void getPrint()				//打印空闲分区
    void jcPrintf()				//打印进程
    void release()				//回收指定进程内存
    

    关键点叙述:

    (1) 内存结构的建立及表示
    在这里插入图片描述
    分别建立进程占用内存表和空闲分区表,由于进程和空闲分区的所有属性值不一样,所以需要分别建表,它们之间起始地址是连续的,逻辑上形成一整块内存。

    (2) 进程请求分配
    在这里插入图片描述
    当进程提出内存分配请求以后,首先需要做的是在空闲分区表当中寻找一个单独的,足够请求进程分配的内存空间。注意,寻求该空间需要从内存低址开始寻找,这样有利于保护高址大块内存,当然,缺点就是会产生较多的碎片内存,这些内存难以被利用。(本程序未涉及相邻空闲空间的合并,以及内存空间的紧凑)若存在这样一个空间,则从该空间当中划出请求进程所需的内存大小,将该内存块(含有起始地址等信息的结构体结点)存入进程占用内存表当中,同时,对于被划分的内存空间,需要修改其起始地址,达到逻辑上的合理。值得一提的是,若内存分配以后,被划分内存空间大小为0,则需要除去该条记录(移除(覆盖)空闲分区表)。

    (3)回收进程
    当对指定进程提出回收要求时,会产生两个反应,一是会对空闲分区表插入一块内存,用以表示被回收内存的空闲已空闲出来;二是对于被回收的进程,不应该出现在进程占用表当中,所以应当将其移除进程占用表。
    对于以上两个操作的实现:对空闲分区表插入空闲内存时,需要从高址内存空间开始对比插入内存空间的大小,当出现内存空间的起始地址小于插入内存空间的起始地址时停止对比查找,将其后的内存空间均向后移动一位,以腾出一个位置用于插入需要插入的空闲内存空间,这样在物理结构上也就合理了。除去被回收的进程,思想与上类似,找到该进程以后,将该进程以后的结点均向前移动一位,末尾指向相应减一,除去被回收的进程目的在于避免对同一进程进行重复回收。

    存在问题
    模拟内存管理所实现效果简单,与真实内存分配存在很大差异。

    改进:
    (1) 实现相邻空闲空间的合并
    (2) 内存空间紧凑
    (3) 其他优化

    个人总结:
    1、 本程序编写完成以后,初步理解内存管理过程。程序实现的功能较为简单,没有考虑相邻空闲分区的合并,以及碎片空间的紧凑整理等操作。
    2、越努力,越幸运!_

    程序效果图(部分):
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    完整代码:

    #include "stdio.h"
    #include "Windows.h"
    
    #define  maxPCB 100   //定义最大PCB结点数
    #define  maxPart 100  //定义最大分区
    
    //进程PCB类型的描述
    struct PCB
    {
    	char name;    //进程名
    	int address;  //进程分区起止
    	int len;      //进程所占分区长度
    };
    struct PCB PCBelem[maxPCB];//进程占用内存表
    
    //分区类型的描述
    struct Part
    {
    	int address;	//空闲分区起始地址
    	int len;		//空闲分区大小
    };
    struct Part Partelem[maxPart];//空闲分区表
    
    int length = 640 ;	//系统有 640 KB 的空闲
    int fnum = 0;		//记录总的分区数量
    int jnum = 0;		//记录总的进程数量
    
    struct Part part;	//公共使用临时结点(分区)
    struct PCB pcb;		//公共使用临时结点(进程)
    
    //为操作系统分配40k内存
    void init4IOS(int tem)
    {
    	length = length - tem;	//剩余系统空闲空间减少
    	part.address = 0 + 40;	//操作系统占用,空闲内存从40开始
    	part.len = length;		//空闲内存大小
    	Partelem[fnum] = part;	//存入空闲分区表
    	fnum ++;				//分区数增加
    }
    
    //判定输入的进程是否存在以及位置
    int getTagByPcb(char name)
    {
    	int i;
    	for(i = 0; i < jnum; i ++)
    	{
    		if(name == PCBelem[i].name)
    		{
    			return i;
    		}	
    	}
    	printf("\n\t\t找不到进程名%c,请重新输入!\n",name);	 
    	return -1;
    }
    
    //进程分配请求
    void request()
    {
    	char c = 0;
        while(true)
    	{
    		printf("\n\t\t请输入请求内存进程 名称:");
    		fflush(stdin);//清空缓冲区
    		scanf("%c",&pcb.name);
    		//检查是否已存在进程
    		for(int j = 0; j < jnum; j++)
    		{
    			if(PCBelem[j].name == pcb.name)
    			{
    				printf("\n\t\t进程 %c 已存在,可尝试输入其他名称,也可以先回收该进程!\n",pcb.name);
    				return;
    			}
    		}
    		printf("\n\t\t\t\t   长度:");
    		fflush(stdin);//清空缓冲区
    		scanf("%d",&pcb.len);
    		length = length - pcb.len;	//减去相对应的操作系统剩余空闲空间	
    		if(length <= 0)
    		{
    			if(length == 0)
    			{
    				printf("\n\t\t警告:系统资源已经全部分配!\n");			
    			}
    			else
    			{
    				length = length + pcb.len;	//分配失败将内存换回去,以免溢出
    				printf("\n\t\t未找到合适空间或者系统资源不足!\n");	return;
    			}
    		}
    		//如果符合分配条件,进行分配
    		for(int i = 0; i < fnum; i++)
    		{
    			//寻找一个可以分配的空间
    			if(pcb.len <= Partelem[i].len)
    			{
    				//改变进程占用地址
    				pcb.address = Partelem[i].address;
    				//保存该进程
    				PCBelem[jnum++] = pcb;
    
    				//对空闲分区进行划分
    				Partelem[i].address = Partelem[i].address + pcb.len;
    				Partelem[i].len = Partelem[i].len - pcb.len;
    				break;//关键作用(从低址找到一个空间就可以了,没必要再往后找了)
    			}			
    		}
    		//除去分配后空闲空间为0的记录
    		if(Partelem[i].len == 0)
    		{
    			int leng = i;
    			//进行前移覆盖
    			while(leng != fnum)
    			{
    				part.address = Partelem[leng+1].address;
    				part.len = Partelem[leng+1].len;
    				Partelem[leng] = part;
    				leng++;
    			}
    			//分区数减少
    			fnum--;
    		}
    		printf("\n\t\t是否要继续输入进程?(Y/y) 是/(N/n) 否:");
    	    fflush(stdin);
    	    c = getchar(); 
    	    fflush(stdin);
    		if(c=='N'||c=='n')
    		{
    			break;
    		}
    	}
    }
    
    //打印空闲分区
    void getPrint()
    {
    	printf("\t\t----------------------空闲分区 begin----------------------\n");
    	int j = 1;
        for (int i = 0;i < fnum; i ++)
        {
    	   printf("\n\t\t第%d块空闲内存 起始地址为%d,容量为%d\n",j,Partelem[i].address,Partelem[i].len);
    	   j ++;
        }
    	printf("\n\t\t----------------------空闲分区  end ----------------------\n"); 
    }
    
    //打印进程
    void jcPrintf()
    {
    	printf("\n\t\t名称\t起始地址\t大小\n");
    	for(int i = 0 ; i < jnum; i++)
    	{
    		printf("\n\t\t%2c\t%4d\t\t%d KB\n",PCBelem[i].name,PCBelem[i].address,PCBelem[i].len);
    	}
    }
    
    //回收指定进程内存
    void release()
    {
    	int i = 0;
    	char name;
    	printf("\n\t\t请输入想要回收的进程名称:");
    	fflush(stdin);//清空缓冲区
    	scanf("%c",&name);
        if(getTagByPcb(name) == -1)
        {
    		printf("\n\t\t该进程不存在或者已经被回收!\n");
    		return;
        }
    
    	printf("\n\t\t正在回收%c的内存:",name);
    	for(int j = 0; j < 15; j++)
    	{
    		printf("▊");
    	    Sleep(200);
    	}
    	printf(" 完成 \n");
    
    	//for循环寻找该进程
    	for(i = fnum; i >= 0; i --)
    	{
    		int leng = fnum;
    		if(PCBelem[getTagByPcb(name)].address > Partelem[i-1].address || i == 0)
    		{
    			//while循环为该进程腾出一个位置
    			while(leng != i)
    			{
    				part.address = Partelem[leng-1].address;
    				part.len = Partelem[leng-1].len;
    				Partelem[leng] = part;
    				leng--;
    			}
    			break;//关键(从高址往前找到一个空间就可以了,没必要再往前找了)
    		}		
    	}
    	//系统空闲空间对应增加
    	length = length + PCBelem[getTagByPcb(name)].len;
    	//使用公共的结点记录即将产生的空闲空间
    	part.address = PCBelem[getTagByPcb(name)].address; 
    	part.len = PCBelem[getTagByPcb(name)].len;
    	//将该结点存入之前腾出的位置
    	Partelem[i] = part;
    	//分区数增加
    	fnum ++;
    
    	//对进程占用内存表进行调整,除去被回收进程
    	int leng = getTagByPcb(name);
    	//进行前移覆盖
    	while(leng != jnum)
    	{
    		pcb.name = PCBelem[leng+1].name;
    		pcb.address = PCBelem[leng+1].address;
    		pcb.len = PCBelem[leng+1].len;
    		PCBelem[leng] = pcb;
    		leng++;
    	}
    	//进程数减少
    	jnum--;
    }
    
    void main()
    {
    	char tem = 0;
    	int OSsize = 40;
    	int b = 1, k;
    	//为操作系统分配内存
    	init4IOS(OSsize);
    	while (b)
    	{
    		system("cls");
    		printf("\n\n\t\t操作系统内存分配\n\n");
    		printf("\t\t已为操作系统分配了 40 KB 内存\n",tem);
    		printf("\n\t\t ----------------------------\n");
    		printf("\t\t|1.... 请求分配内存           |\n");
    		printf("\t\t|2.... 输出空闲分区           |\n");
    		printf("\t\t|3.... 强制进程结束           |\n");
    		printf("\t\t|4.... 输出进程信息           |\n");
    		printf("\t\t|0.... 退出                   |\n");
    		printf("\t\t ----------------------------\n\n");
    		printf("\t\t当前操作系统空闲内存:%d KB\n",length);		
    		printf("\n\t\t请选择:");
    		fflush(stdin);//清空缓冲区
    		scanf("%d", &k);
    		switch (k)
    		{	
    			case 1: request();       break;
    			case 2: getPrint();	     break;
    			case 3: release();       break;
    			case 4: jcPrintf();      break;
    			case 0:	b = 0;           break;
    			default:printf("\n\t\t输入无效!\n");break;
    		}
    		if (b != 0)  { printf("\n\t\t"); system("pause"); }
    	}
    }
    

    如有错误,欢迎指正!

    展开全文
  • 根本的原因是,没有清楚的理解操作系统的内存管理机制,本文企图通过简单的总结描述,结合实例来阐明这个机制。 本文目的: 对Windows内存管理机制了解清楚,有效的利用C++内存函数管理和使用内存。 本文...

    (一):进程空间

    在编程中,很多Windows或C++的内存函数不知道有什么区别,更别谈有效使用;根本的原因是,没有清楚的理解操作系统的内存管理机制,本文企图通过简单的总结描述,结合实例来阐明这个机制。

    本文目的:

    对Windows内存管理机制了解清楚,有效的利用C++内存函数管理和使用内存。

    本文内容:

    本文一共有六节,由于篇幅较多,故按节发表。其他章节请看本人博客的Windows内存管理及C++内存分配实例(二)(三)(四)(五)和(六)。

    1.      进程地址空间

    1.1地址空间

    ·        32|64位的系统|CPU

            操作系统运行在硬件CPU上,32位操作系统运行于32位CPU上,64位操作系统运行于64位CPU上;目前没有真正的64位CPU。

    32位CPU一次只能操作32位二进制数;位数多CPU设计越复杂,软件设计越简单。

           软件的进程运行于32位系统上,其寻址位也是32位,能表示的空间是232=4G,范围从0x0000 0000~0xFFFF FFFF。

    ·        NULL指针分区

    范围:0x0000 0000~0x0000 FFFF

    作用:保护内存非法访问

    例子:分配内存时,如果由于某种原因分配不成功,则返回空指针0x0000 0000;当用户继续使用比如改写数据时,系统将因为发生访问违规而退出。

            那么,为什么需要那么大的区域呢,一个地址值不就行了吗?我在想,是不是因为不让8或16位的程序运行于32位的系统上呢?!因为NULL分区刚好范围是16的进程空间。

    ·        独享用户分区

    范围:0x0001 0000~0x7FFE FFFF

    作用:进程只能读取或访问这个范围的虚拟地址;超越这个范围的行为都会产生违规退出。

    例子:

            程序的二进制代码中所用的地址大部分将在这个范围,所有exe和dll文件都加载到这个。每个进程将近2G的空间是独享的。

    注意:如果在boot.ini上设置了/3G,这个区域的范围从2G扩大为3G:0x0001 0000~0xBFFE FFFF。

    ·        共享内核分区

    范围:0x8000 0000~0xFFFF FFFF

    作用:这个空间是供操作系统内核代码、设备驱动程序、设备I/O高速缓存、非页面内存池的分配、进程目表和页表等。

    例子:

           这段地址各进程是可以共享的。                                                                                                                                        

    注意:如果在boot.ini上设置了/3G,这个区域的范围从2G缩小为1G:0xC000 0000~0xFFFF FFFF。

           通过以上分析,可以知道,如果系统有n个进程,它所需的虚拟空间是:2G*n+2G (内核只需2G的共享空间)。

     

    1.2地址映射

    ·        区域

    区域指的是上述地址空间中的一片连续地址。区域的大小必须是粒度(64k) 的整数倍,不是的话系统自动处理成整数倍。不同CPU粒度大小是不一样的,大部分都是64K。

    区域的状态有:空闲、私有、映射、映像。

    在你的应用程序中,申请空间的过程称作保留(预订),可以用VirtualAlloc;删除空间的过程为释放,可以用VirtualFree。

            在程序里预订了地址空间以后,你还不可以存取数据,因为你还没有付钱,没有真实的RAM和它关联。这时候的区域状态是私有;默认情况下,区域状态是空闲;当exe或DLL文件被映射进了进程空间后,区域状态变成映像;

    当一般数据文件被映射进了进程空间后,区域状态变成映射。

    ·        物理存储器

    Windows各系列支持的内存上限是不一样的,从2G到64G不等。理论上32位CPU,硬件上只能支持4G内存的寻址;能支持超过4G的内存只能靠其他技术来弥补。顺便提一下,Windows个人版只能支持最大2G内存,Intel使用Address Windows Extension (AWE) 技术使得寻址范围为236=64G。当然,也得操作系统配合。

            内存分配的最小单位是4K或8K,一般来说,根据CPU不同而不同,后面你可以看到可以通过系统函数得到区域粒度和页面粒度。

    ·        页文件

    页文件是存在硬盘上的系统文件,它的大小可以在系统属性里面设置,它相当于物理内存,所以称为虚拟内存。事实上,它的大小是影响系统快慢的关键所在,如果物理内存不多的情况下。

           每页的大小和上述所说内存分配的最小单位是一样的,通常是4K或8K。

    ·        访问属性

    物理页面的访问属性指的是对页面进行的具体操作:可读、可写、可执行。CPU一般不支持可执行,它认为可读就是可执行。但是,操作系统提供这个可执行的权限。

    PAGE_NOACCESS

    PAGE_READONLY

    PAGE_READWRITE

    PAGE_EXECUTE

    PAGE_EXECUTE_READ

    PAGE_EXECUTE_READWRITE

    这6个属性很好理解,第一个是拒绝所有操作,最后一个是接受收有操作;

    PAGE_WRITECOPY

    PAGE_EXECUTE_WRITECOPY

    这两个属性在运行同一个程序的多个实例时非常有用;它使得程序可以共享代码段和数据段。一般情况下,多个进程只读或执行页面,如果要写的话,将会Copy页面到新的页面。通过映射exe文件时设置这两个属性可以达到这个目的。

    PAGE_NOCACHE

    PAGE_WRITECOMBINE

    这两个是开发设备驱动的时候需要的。

    PAGE_GUARD

    当往页面写入一个字节时,应用程序会收到堆栈溢出通知,在线程堆栈时有用。

    ·        映射过程

    进程地址空间的地址是虚拟地址,也就是说,当取到指令时,需要把虚拟地址转化为物理地址才能够存取数据。这个工作通过页目和页表进行。

    wps_clip_image-23282

    从图中可以看出,页目大小为4K,其中每一项(32位)保存一个页表的物理地址;每个页表大小为4K,其中每一项(32位)保存一个物理页的物理地址,一共有1024个页表。利用这4K+4K*1K=4.4M的空间可以表示进程的1024*1024* (一页4K) =4G的地址空间。

    进程空间中的32位地址如下:

    wps_clip_image-3621

    高10位用来找到1024个页目项中的一项,取出页表的物理地址后,利用中10位来得到页表项的值,根据这个值得到物理页的地址,由于一页有4K大小,利用低12位得到单元地址,这样就可以访问这个内存单元了。

            每个进程都有自己的一个页目和页表,那么,刚开始进程是怎么找到页目所在的物理页呢?答案是CPU的CR3寄存器会保存当前进程的页目物理地址。

            当进程被创建时,同时需要创建页目和页表,一共需要4.4M。在进程的空间中,0xC030 0000~0xC030 0FFF是用来保存页目的4k空间。0xC000 0000~0xC03F FFFF是用来保存页表的4M空间。也就是说程序里面访问这些地址你是可以读取页目和页表的具体值的(要工作在内核方式下)。有一点我不明白的是,页表的空间包含了页目的空间!

            至于说,页目和页表是保存在物理内存还是页文件中,我觉得,页目比较常用,应该在物理内存的概率大点,页表需要时再从页文件导入物理内存中。

            页目项和页表项是一个32位的值,当页目项第0位为1时,表明页表已经在物理内存中;当页表项第0位为1时,表明访问的数据已经在内存中。还有很多数据是否已经被改变,是否可读写等标志。另外,当页目项第7位为1时,表明这是一个4M的页面,这值已经是物理页地址,用虚拟地址的低22位作为偏移量。还有很多:数据是否已经被改变、是否可读写等标志。

     

    1.3 一个例子

    ·        编写生成软件程序exe

    软件描述如下:

    Main ()

    {

    1:定义全局变量

    2:处理函数逻辑(Load 所需DLL库,调用方法处理逻辑)

    3:定义并实现各种方法(方法含有局部变量)

                           4:程序结束

    }

    将程序编译,生成exe文件,附带所需的DLL库。

    ·        exe文件格式

    exe文件有自己的格式,有若干节(section):.text用来放二进制代码(exe或dll);.data用来放各种全局数据。

    .text

    指令1:move a, b

    指令2:add a, b

    .data

    数据1:a=2

    数据2:b=1

    这些地址都是虚拟地址,也就是进程的地址空间。

    ·        运行exe程序

    建立进程:运行这个exe程序时,系统会创建一个进程,建立进程控制块PCB,生成进程页目和页表,放到PCB中。

     

    数据对齐:数据的内存地址除以数据的大小,余数为0时说明数据是对齐的。现在的编译器编译时就考虑数据对齐的问题,生成exe文件后,数据基本上是对齐的,CPU运行时,寄存器有标志标识CPU是否能够自动对齐数据,如果遇到不能对齐的情况,或者通过两次访问内存,或者通知操作系统处理。

    要注意的是,如果数据没有对齐,CPU处理的效率是很低的。

     

    文件映射:系统不会将整个exe文件和所有的DLL文件装载进物理内存中,同时它也不会装载进页面文件中。相反,它会建立文件映射,也就是利用exe本身当作页面文件。系统将部分二进制代码装载进内存,分配页面给它。

            假设分配了一个页面,物理地址为0x0232 FFF1。其中装载的一个指令虚拟地址为0x4000 1001=0100 0000 00 0000 0000 01 0000 0000 0001。一个页面有4K,系统会将指令保存在低12位0x0001的地址处。同时,系统根据高10位0x0100找到页目项,如果没有关联的页表,系统会生成一个页表,分配一个物理页;然后,根据中10位0x0001找到表项,将物理地址0x0232 FFF1存进去。

     

    执行过程:

    执行时,当系统拿到一个虚拟地址,就根据页目和页表找到数据的地址,根据页目上的值可以判断页表是在页文件中还是在内存中;

    如果在页文件中,会将页面导入内存,更新页目项。读取页表项的值后,可以判断数据页文件中还是在物理内存中;如果在页文件中,会导入到内存中,更新页表项。最终,拿到了数据。

            在分配物理页的过程中,系统会根据内存分配的状况适当淘汰暂时不用的页面,如果页面内容改变了(通过页表项的标志位),保存到页文件中,系统会维护内存与页文件的对应关系。

    由于将exe文件当作内存映射文件,当需要改变数据,如更改全局变量的值时,利用Copy-On-Write的机制,重新生成页文件,将结果保存在这个页文件中,原来的页文件还是需要被其他进程实例使用的。

            在清楚了指令和数据是如何导入内存,如何找到它们的情况下,剩下的就是CPU不断的取指令、运行、保存数据的过程了,当进程结束后,系统会清空之前的各种结构、释放相关的物理内存和删除页文件。  

    (二):内存状态查询

    2.      内存状态查询函数

    2.1系统信息

    Windows 提供API可以查询系统内存的一些属性,有时候我们需要获取一些页面大小、分配粒度等属性,在分配内存时用的上。

    请看以下C++程序:

    SYSTEM_INFO sysInfo;

                GetSystemInfo(&sysInfo);

                cout<<"机器属性:"<<endl;

                cout<<"页大小="<<sysInfo.dwPageSize<<endl;

                cout<<"分配粒度="<<sysInfo.dwAllocationGranularity<<endl;

                cout<<"用户区最小值="<<sysInfo.lpMinimumApplicationAddress<<endl;

       cout<<"用户区最大值="

    <<sysInfo.lpMaximumApplicationAddress<<endl<<endl;

    结果如下:

    wps_clip_image-9865

     

    可以看出,页面大小是4K,区域分配粒度是64K,进程用户区是0x0001 0000~0x7FFE FFFF。

     

    2.2内存状态

    ·        内存状态可以获取总内存和可用内存,包括页文件和物理内存。

    请看以下C++程序:

    MEMORYSTATUS memStatus;

                GlobalMemoryStatus(&memStatus);

                cout<<"内存初始状态:"<<endl;

                cout<<"内存繁忙程度="<<memStatus.dwMemoryLoad<<endl;

                cout<<"总物理内存="<<memStatus.dwTotalPhys<<endl;

                cout<<"可用物理内存="<<memStatus.dwAvailPhys<<endl;

                cout<<"总页文件="<<memStatus.dwTotalPageFile<<endl;

                cout<<"可用页文件="<<memStatus.dwAvailPageFile<<endl;

                cout<<"总进程空间="<<memStatus.dwTotalVirtual<<endl;

       cout<<"可用进程空间="<<memStatus.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-30233

    可以看出,总物理内存是1G,可用物理内存是510兆,总页文件是2.5G,这个是包含物理内存的页文件;可用页文件是1.9G。这里还标识了总进程空间,还有可用的进程空间,程序只用了22兆的内存空间。这里说的都是大约数。

    内存繁忙程序是标识当前系统内存管理的繁忙程序,从0到100,其实用处不大。

     

    ·        在函数里面静态分配一些内存后,看看究竟发生什么

    char stat[65536];

                MEMORYSTATUS memStatus1;

                GlobalMemoryStatus(&memStatus1);

                cout<<"静态分配空间:"<<endl;

                printf("指针地址=%x\n",stat);

    cout<<"减少物理内存="<<memStatus.dwAvailPhys-memStatus1.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus.dwAvailPageFile-memStatus1.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus.dwAvailVirtual-             

    memSta tus1.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-28965

     

    可以看出,物理内存、可用页文件和进程空间都没有损耗。因为局部变量是分配在线程堆栈里面的,每个线程系统都会建立一个默认1M大小的堆栈给线程函数调用使用。如果分配超过1M,就会出现堆栈溢出。

     

    ·        在函数里面动态分配300M的内存后,看看究竟发生什么

    char *dynamic=new char[300*1024*1024];

                MEMORYSTATUS memStatus2;

                GlobalMemoryStatus(&memStatus2);

                cout<<"动态分配空间:"<<endl;

                printf("指针地址=%x\n",dynamic);

    cout<<"减少物理内存="<<memStatus.dwAvailPhys-memStatus2.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus.dwAvailPageFile-memStatus2.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus.dwAvailVirtual-memStatus2.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-26367

     

    动态分配情况下,系统分配直到内存页文件使用完为止,当然,系统要留一下系统使用的页面。

     

    2.3 进程区域地址查询

    在给定一个进程空间的地址后,可以查询它所在区域和相邻页面的状态,包括页面保护属性、存储器类型等。

    ·        C++静态分配了两次内存,一次是4K大一点,一个是900K左右。

    char arrayA[4097];

                char arrayB[900000];

    第一次查询:

                long len=sizeof(MEMORY_BASIC_INFORMATION);

                MEMORY_BASIC_INFORMATION mbiA;

                VirtualQuery(arrayA,&mbiA,len);

                cout<<"静态内存地址属性:"<<endl;

                cout<<"区域基地址="<<mbiA.AllocationBase<<endl;

                cout<<"区域邻近页面状态="<<mbiA.State<<endl;

                cout<<"区域保护属性="<<mbiA.AllocationProtect<<endl;

                cout<<"页面基地址="<<mbiA.BaseAddress<<endl;

                printf("arrayA指针地址=%x\n",arrayA);

                cout<<"从页面基地址开始的大小="<<mbiA.RegionSize<<endl;

                cout<<"邻近页面物理存储器类型="<<mbiA.Type<<endl;

                cout<<"页面保护属性="<<mbiA.Protect<<endl<<endl;

    第二次查询:

                MEMORY_BASIC_INFORMATION mbiB;

                VirtualQuery(arrayB,&mbiB,len);

                cout<<"静态内存地址属性:"<<endl;

                cout<<"区域基地址="<<mbiB.AllocationBase<<endl;

                cout<<"区域邻近页面状态="<<mbiB.State<<endl;

                cout<<"区域保护属性="<<mbiB.AllocationProtect<<endl;

                cout<<"页面基地址="<<mbiB.BaseAddress<<endl;

                printf("arrayB指针地址=%x\n",arrayB);

                cout<<"从页面基地址开始的大小="<<mbiB.RegionSize<<endl;

                cout<<"邻近页面物理存储器类型="<<mbiB.Type<<endl;

       cout<<"页面保护属性="<<mbiB.Protect<<endl<<endl;

     

    说明:区域基地址指的是给定地址所在的进程空间区域;

    邻近页面状态指的是与给定地址所在页面状态相同页面的属性:MEM_FREE(空闲=65536)、MEM_RESERVE(保留=8192)和MEM_COMMIT(提交=4096)。

    区域保护属性指的是区域初次被保留时被赋予的保护属性:PAGE_READONLY(2)、PAGE_READWRITE(4)、PAGE_WRITECOPY(8)和PAGE_EXECUTE_WRITECOPY(128)等等。

    页面基地址指的是给定地址所在页面的基地址。

    从页面基地址开始的区域页面的大小,指的是与给定地址所在页面状态、保护属性相同的页面。

    邻近页面物理存储器类型指的是与给定地址所在页面相同的存储器类型,包括:MEM_PRIVATE(页文件=131072)、MEM_MAPPED(文件映射=262144)和MEM_IMAGE(exe映像=16777216)。

    页面保护属性指的是页面被指定的保护属性,在区域保护属性指定后更新。

     

    结果如下:

    wps_clip_image-9190

     

    如前所说,这是在堆栈区域0x0004 0000里分配的,后分配的地址arrayB反而更小,符合堆栈的特性。arrayA和arrayB它们处于不同的页面。页面都受页文件支持,并且区域都是提交的,是系统在线程创建时提交的。

     

    ·        C++动态分配了两次内存,一次是1K大一点,一个是64K左右。所以应该不会在一个区域。

    char *dynamicA=new char[1024];

                char *dynamicB=new char[65467];

                VirtualQuery(dynamicA,&mbiA,len);

                cout<<"动态内存地址属性:"<<endl;

                cout<<"区域基地址="<<mbiA.AllocationBase<<endl;

                cout<<"区域邻近页面状态="<<mbiA.State<<endl;

                cout<<"区域保护属性="<<mbiA.AllocationProtect<<endl;

                cout<<"页面基地址="<<mbiA.BaseAddress<<endl;

                printf("dynamicA指针地址=%x\n",dynamicA);

                cout<<"从页面基地址开始的大小="<<mbiA.RegionSize<<endl;

                cout<<"邻近页面物理存储器类型="<<mbiA.Type<<endl;

                cout<<"页面保护属性="<<mbiA.Protect<<endl<<endl;

     

                VirtualQuery(dynamicB,&mbiB,len);

                cout<<"动态内存地址属性:"<<endl;

                cout<<"区域基地址="<<mbiB.AllocationBase<<endl;

                cout<<"区域邻近页面状态="<<mbiB.State<<endl;

                cout<<"区域保护属性="<<mbiB.AllocationProtect<<endl;

                cout<<"页面基地址="<<mbiB.BaseAddress<<endl;

                printf("dynamicB指针地址=%x\n",dynamicB);

                cout<<"从页面基地址开始的大小="<<mbiB.RegionSize<<endl;

                cout<<"邻近页面物理存储器类型="<<mbiB.Type<<endl;

                cout<<"页面保护属性="<<mbiB.Protect<<endl;

     

    结果如下:

    wps_clip_image-22398

     

    这里是动态分配,dynamicA和dynamicB处于两个不同的区域;同样,页面都受页文件支持,并且区域都是提交的。

    第二个区域是比64K大的,由分配粒度可知,区域至少是128K。那么,剩下的空间也是提交的吗,如果是的话那就太浪费了。看看就知道了:0x00E2 1000肯定在这个空间里,所以查询如下:

    VirtualQuery((char*)0xE23390,&mbiB,len);

                cout<<"动态内存地址属性:"<<endl;

                cout<<"区域基地址="<<mbiB.AllocationBase<<endl;

                cout<<"区域邻近页面状态="<<mbiB.State<<endl;

                cout<<"区域保护属性="<<mbiB.AllocationProtect<<endl;

                cout<<"页面基地址="<<mbiB.BaseAddress<<endl;

                printf("dynamicB指针地址=%x\n",0xE21000);

                cout<<"从页面基地址开始的大小="<<mbiB.RegionSize<<endl;

                cout<<"邻近页面物理存储器类型="<<mbiB.Type<<endl;

       cout<<"页面保护属性="<<mbiB.Protect<<endl;

    结果如下:

    wps_clip_image-27835

    可以看出,邻近页面状态为保留,还没提交,预料之中;0x00E1 0000 这个区域的大小可以计算出来:69632+978944=1024K。系统动态分配了1M的空间,就为了64K左右大小的空间。可能是为了使得下次有要求分配时时不用再分配了。

     

    (三):虚拟内存

    3.      内存管理机制--虚拟内存 (VM)

    ·        虚拟内存使用场合

    虚拟内存最适合用来管理大型对象或数据结构。比如说,电子表格程序,有很多单元格,但是也许大多数的单元格是没有数据的,用不着分配空间。也许,你会想到用动态链表,但是访问又没有数组快。定义二维数组,就会浪费很多空间。

    它的优点是同时具有数组的快速和链表的小空间的优点。

     

    ·        分配虚拟内存

    如果你程序需要大块内存,你可以先保留内存,需要的时候再提交物理存储器。在需要的时候再提交才能有效的利用内存。一般来说,如果需要内存大于1M,用虚拟内存比较好。

     

    ·        保留

    用以下Windows 函数保留内存块

    VirtualAlloc (PVOID 开始地址,SIZE_T 大小,DWORD 类型,DWORD 保护属性)

    一般情况下,你不需要指定“开始地址”,因为你不知道进程的那段空间是不是已经被占用了;所以你可以用NULL。“大小”是你需要的内存字节;“类型”有MEM_RESERVE(保留)、MEM_RELEASE(释放)和MEM_COMMIT(提交)。“保护属性”在前面章节有详细介绍,只能用前六种属性。

    如果你要保留的是长久不会释放的内存区,就保留在较高的空间区域,这样不会产生碎片。用这个类型标志可以达到:

    MEM_RESERVE|MEM_TOP_DOWN。

    C++程序:保留1G的空间

    LPVOID pV=VirtualAlloc(NULL,1000*1024*1024,MEM_RESERVE|MEM_TOP_DOWN,PAGE_READWRITE);

                if(pV==NULL)

                cout<<"没有那么多虚拟空间!"<<endl;

                MEMORYSTATUS memStatusVirtual1;

                GlobalMemoryStatus(&memStatusVirtual1);

                cout<<"虚拟内存分配:"<<endl;

                printf("指针地址=%x\n",pV);

    cout<<"减少物理内存="<<memStatusVirtual.dwAvailPhys-memStatusVirtual1.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatusVirtual.dwAvailPageFile-memStatusVirtual1.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="

    <<memStatusVirtual.dwAvailVirtual-memStatusVirtual1.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-4137

     

    可见,进程空间减少了1G;减少的物理内存和可用页文件用来管理页目和页表。但是,现在访问空间的话,会出错的:

    int * iV=(int*)pV;

       //iV[0]=1;现在访问会出错,出现访问违规

     

    ·        提交

    你必须提供一个初始地址和提交的大小。提交的大小系统会变成页面的倍数,因为只能按页面提交。指定类型是MEM_COMMIT。保护属性最好跟区域的保护属性一致,这样可以提高系统管理的效率。

    C++程序:提交100M的空间

    LPVOID pP=VirtualAlloc(pV,100*1024*1024,MEM_COMMIT,PAGE_READWRITE);   

                if(pP==NULL)

                cout<<"没有那么多物理空间!"<<endl;

                int * iP=(int*)pP;

                iP[0]=3;

                iP[100/sizeof(int)*1024*1024-1]=5;//这是能访问的最后一个地址

                //iP[100/sizeof(int)*1024*1024]=5;访问出错

     

    ·        保留&提交

    你可以用类型MEM_RESERVE|MEM_COMMIT一次全部提交。但是这样的话,没有有效地利用内存,和使用一般的C++动态分配内存函数一样了。

     

    ·        更改保护属性

    更改已经提交的页面的保护属性,有时候会很有用处,假设你在访问数据后,不想别的函数再访问,或者出于防止指针乱指改变结构的目的,你可以更改数据所处的页面的属性,让别人无法访问。

    VirtualProtect (PVOID 基地址,SIZE_T 大小,DWORD 新属性,DWORD 旧属性)

    “基地址”是你想改变的页面的地址,注意,不能跨区改变。

    C++程序:更改一页的页面属性,改为只读,看看还能不能访问

    DWORD protect;

                iP[0]=8;

                VirtualProtect(pV,4096,PAGE_READONLY,&protect);

                int * iP=(int*)pV;

    iP[1024]=9;//可以访问,因为在那一页之外

                //iP[0]=9;不可以访问,只读

                //还原保护属性

                VirtualProtect(pV,4096,PAGE_READWRITE,&protect);

       cout<<"初始值="<<iP[0]<<endl;//可以访问

     

    ·        清除物理存储器内容

    清除页面指的是,将页面清零,也就是说当作页面没有改变。假设数据存在物理内存中,系统没有RAM页面后,会将这个页面暂时写进虚拟内存页文件中,这样来回的倒腾系统会很慢;如果那一页数据已经不需要的话,系统可以直接使用。当程序需要它那一页时,系统会分配另一页给它。

    VirtualAlloc (PVOID 开始地址,SIZE_T 大小,DWORD 类型,DWORD 保护属性)

    “大小”如果小于一个页面的话,函数会执行失败,因为系统使用四舍五入的方法;“类型”是MEM_RESET。

    有人说,为什么需要清除呢,释放不就行了吗?你要知道,释放了后,程序就无法访问了。现在只是因为不需要结构的内容了,顺便提高一下系统的性能;之后程序仍然需要访问这个结构的。

    C++程序:

    清除1M的页面:

    PVOID re=VirtualAlloc(pV,1024*1024,MEM_RESET,PAGE_READWRITE);

                if(re==NULL)

       cout<<"清除失败!"<<endl;

    这时候,页面可能还没有被清零,因为如果系统没有RAM请求的话,页面内存保存不变的,为了看看被清零的效果,程序人为的请求大量页面:

    C++程序:

    VirtualAlloc((char*)pV+100*1024*1024+4096,memStatus.dwAvailPhys+10000000,MEM_COMMIT,PAGE_READWRITE);//没访问之前是不给物理内存的。  

                char* pp=(char*)pV+100*1024*1024+4096;

                for(int i=0;i<memStatus.dwAvailPhys+10000000;i++)

                pp[i]='V';//逼他使用物理内存,而不使用页文件

                GlobalMemoryStatus(&memStatus);

                cout<<"内存初始状态:"<<endl;

                cout<<"长度="<<memStatus.dwLength<<endl;

                cout<<"内存繁忙程度="<<memStatus.dwMemoryLoad<<endl;

                cout<<"总物理内存="<<memStatus.dwTotalPhys<<endl;

                cout<<"可用物理内存="<<memStatus.dwAvailPhys<<endl;

                cout<<"总页文件="<<memStatus.dwTotalPageFile<<endl;

                cout<<"可用页文件="<<memStatus.dwAvailPageFile<<endl;

                cout<<"总进程空间="<<memStatus.dwTotalVirtual<<endl;

                cout<<"可用进程空间="<<memStatus.dwAvailVirtual<<end;

       cout<<"清除后="<<iP[0]<<endl;

    结果如下:

    wps_clip_image-25306

     

    当内存所剩无几时,系统将刚清除的内存页面分配出去,同时不会把页面的内存写到虚拟页面文件中。可以看见,原先是8的值现在是0了。

     

    ·        虚拟内存的关键之处

    虚拟内存存在的优点是,需要的时候才真正分配内存。那么程序必须决定何时才提交内存。

    如果访问没有提交内存的数据结构,系统会产生访问违规的错误。提交的最好方法是,当你程序需要访问虚拟内存的数据结构时,假设它已经是分配内存的,然后异常处理可能出现的错误。对于访问违规的错误,就提交这个地址的内存。

     

    ·        释放

    可以释放整个保留的空间,或者只释放分配的一些物理内存。

    释放特定分配的物理内存:

    如果不想释放所有空间,可以只释放某些物理内存。

    “开始地址”是页面的基地址,这个地址不一定是第一页的地址,一个窍门是提供一页中的某个地址就行了,因为系统会做页边界处理,取该页的首地址;“大小”是页面的要释放的字节数;“类型”是MEM_DECOMMIT。

    C++程序:

                //只释放物理内存

                VirtualFree((int*)pV+2000,50*1024*1024,MEM_DECOMMIT);

                int* a=(int*)pV;

                a[10]=2;//可以使用,没有释放这一页

                MEMORYSTATUS memStatusVirtual3;

                GlobalMemoryStatus(&memStatusVirtual3);

                cout<<"物理内存释放:"<<endl;

    cout<<"增加物理内存="<<memStatusVirtual3.dwAvailPhys-memStatusVirtual2.dwAvailPhys<<endl;

    cout<<"增加可用页文件="<<memStatusVirtual3.dwAvailPageFile-memStatusVirtual2.dwAvailPageFile<<endl;

       cout<<"增加可用进程空间="

    <<memStatusVirtual3.dwAvailVirtual-memStatusVirtual2.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-16518

     

    可以看见,只释放物理内存,没有释放进程的空间。

     

    释放整个保留的空间:

    VirtualFree (LPVOID 开始地址,SIZE_T 大小,DWORD 类型)

    “开始地址”一定是该区域的基地址;“大小”必须是0,因为只能释放整个保留的空间;“类型”是MEM_RELEASE。

    C++程序:

    VirtualFree(pV,0,MEM_RELEASE);

                //a[10]=2;不能使用了,进程空间也释放了

     

                MEMORYSTATUS memStatusVirtual4;

                GlobalMemoryStatus(&memStatusVirtual4);

                cout<<"虚拟内存释放:"<<endl;

    cout<<"增加物理内存="<<memStatusVirtual4.dwAvailPhys-memStatusVirtual3.dwAvailPhys <<endl;

    cout<<"增加可用页文件="<<memStatusVirtual4.dwAvailPageFile-memStatusVirtual3.dwAvailPageFile<<endl;

    cout<<"增加可用进程空间="

    <<memStatusVirtual4.dwAvailVirtual-memStatusVirtual3.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-16440

     

    整个分配的进程区域被释放了,包括所占的物理内存和页文件。

     

    ·        何时释放

    如果数组的元素大小是小于一个页面4K的话,你需要记录哪些空间不需要,哪些在一个页面上,可以用一个元素一个Bit来记录;另外,你可以创建一个线程定时检测无用单元。

     

    ·        扩展地址AWE

    AWE是内存管理器功能的一套应用程序编程接口 (API) ,它使程序能够将物理内存保留为非分页内存,然后将非分页内存部分动态映射到程序的内存工作集。此过程使内存密集型程序(如大型数据库系统)能够为数据保留大量的物理内存,而不必交换分页文件以供使用。相反,数据在工作集中进行交换,并且保留的内存超过 4 GB 范围。

    对于物理内存小于2G进程空间时,它的作用是:不必要在物理内存和虚拟页文件中交换。

    对于物理内存大于2G进程空间时,它的作用是:应用程序能够访问的物理内存大于2G,也就相当于进程空间超越了2G的范围;同时具有上述优点。

    3GB

    当在boot.ini 上加上 /3GB 选项时,应用程序的进程空间增加了1G,也就是说,你写程序时,可以分配的空间又增大了1G,而不管物理内存是多少,反正有虚拟内存的页文件,大不了慢点。

    PAE

    当在boot.ini上加上 /PAE 选项时,操作系统可以支持大于4G的物理内存,否则,你加再多内存操作系统也是不认的,因为管理这么大的内存需要特殊处理。所以,你内存小于4G是没有必要加这个选项的。注意,当要支持大于16G的物理内存时,不能使用/3G选项,因为,只有1G的系统空间是不能管理超过16G的内存的。

    AWE

    当在boot.ini上加上 /AWE选项时,应用程序可以为自己保留物理内存,直接的使用物理内存而不通过页文件,也不会被页文件交换出去。当内存大于3G时,就显得特别有用。因为可以充分利用物理内存。

    当物理内存大于4G时,需要/PAE的支持。

    以下是一个boot.ini的实例图,是我机器上的:

    wps_clip_image-26926

     

     

     

    要使用AWE,需要用户具有Lock Pages in Memory权限,这个在控制面板中的本地计算机政策中设置。

    第一,分配进程虚拟空间:

    VirtualAlloc (PVOID 开始地址,SIZE_T 大小,DWORD 类型,DWORD 保护属性)

    “开始地址”可以是NULL,由系统分配进程空间;“类型”是MEM_RESERVE|MEM_PHYSICAL;“保护属性”只能是

    PAGE_READWRITE。

    MEM_PHYSICAL指的是区域将受物理存储器的支持。

    第二,你要计算出分配的页面数目PageCount:

    利用本文第二节的GetSystemInfo可以计算出来。

    第三,分配物理内存页面:

    AllocateUserPhysicalPages (HANDLE 进程句柄,SIZE_T 页数,ULONG_PTR 页面指针数组)

    进程句柄可以用GetCurrentProcess()获得;页数是刚计算出来的页数PageCount;页面数组指针unsigned long* Array[PageCount]。

    系统会将分配结果存进这个数组。

    第四,将物理内存与虚拟空间进行映射:

    MapUserPhysicalPages (PVOID 开始地址,SIZE_T 页数,ULONG_PTR 页面指针数组)

    “开始地址”是第一步分配的空间;

    这样的话,虚拟地址就可以使用了。

    如果“页面指针数组”是NULL,则取消映射。

    第五,释放物理页面

    FreeUserPhysicalPages (HANDLE 进程句柄,SIZE_T 页数,ULONG_PTR 页面指针数组)

    这个除了释放物理页面外,还会取消物理页面的映射。

    第六,释放进程空间

    VirtualFree (PVOID 开始地址,0,MEM_RELEASE)

     

    C++程序:

    首先,在登录用户有了Lock Pages in Memory权限以后,还需要调用Windows API激活这个权限。

    BOOL VirtualMem::LoggedSetLockPagesPrivilege ( HANDLE hProcess,BOOL bEnable)                    

    {

                struct {

                            DWORD Count;//数组的个数

                            LUID_AND_ATTRIBUTES Privilege [1];} Info;

                HANDLE Token;

                //打开本进程的权限句柄

                BOOL Result = OpenProcessToken ( hProcess,

                            TOKEN_ADJUST_PRIVILEGES,

                            & Token);

                If (Result!= TRUE )

                {

                            printf( "Cannot open process token.\n" );

                            return FALSE;

                }

                //我们只改变一个属性

                Info.Count = 1;

                //准备激活

                if( bEnable )

                        Info.Privilege[0].Attributes = SE_PRIVILEGE_ENABLED;

                else

                            Info.Privilege[0].Attributes = 0;

                //根据权限名字找到LGUID

                Result = LookupPrivilegeValue ( NULL,

                            SE_LOCK_MEMORY_NAME,

                            &(Info.Privilege[0].Luid));

                if( Result != TRUE )

                {

                            printf( "Cannot get privilege for %s.\n", SE_LOCK_MEMORY_NAME );

                            return FALSE;

                }

                // 激活Lock Pages in Memory权限

    Result = AdjustTokenPrivileges ( Token, FALSE,(PTOKEN_PRIVILEGES) &Info,0, NULL, NULL);

                if( Result != TRUE )

                {

                            printf ("Cannot adjust token privileges (%u)\n", GetLastError() );

                            return FALSE;

                }

                else

                {

                            if( GetLastError() != ERROR_SUCCESS )

                            {

    printf ("Cannot enable the SE_LOCK_MEMORY_NAME privilege; ");

                                        printf ("please check the local policy.\n");

                                        return FALSE;

                            }

                }

                CloseHandle( Token );

                return TRUE;

    }

     

    分配100M虚拟空间:

    PVOID pVirtual=VirtualAlloc(NULL,100*1024*1024,MEM_RESERVE|MEM_PHYSICAL,PAGE_READWRITE);

                if(pVirtual==NULL)

                            cout<<"没有那么大连续进程空间!"<<endl;

     

                MEMORYSTATUS memStatusVirtual5;

                GlobalMemoryStatus(&memStatusVirtual5);

                cout<<"虚拟内存分配:"<<endl;

    cout<<"减少物理内存="<<memStatusVirtual4.dwAvailPhys-memStatusVirtual5.dwAvailPhys<<endl

    cout<<"减少可用页文件="<<memStatusVirtual4.dwAvailPageFile-memStatusVirtual5.dwAvailPageFile<<endl;

       cout<<"减少可用进程空间="

    <<memStatusVirtual4.dwAvailVirtual-memStatusVirtual5.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-24474

     

    可以看见,只分配了进程空间,没有分配物理内存。

     

    分配物理内存:

    ULONG_PTR pages=(ULONG_PTR)100*1024*1024/sysInfo.dwPageSize;

                ULONG_PTR *frameArray=new ULONG_PTR[pages];

                //如果没激活权限,是不能调用这个方法的,可以调用,但是返回FALSE

    BOOL flag=AllocateUserPhysicalPages(GetCurrentProcess(),

    &pages,frameArray);

                if(flag==FALSE)

                            cout<<"分配物理内存失败!"<<endl;

                MEMORYSTATUS memStatusVirtual6;

                GlobalMemoryStatus(&memStatusVirtual6);

                cout<<"物理内存分配:"<<endl;

    cout<<"减少物理内存="<<memStatusVirtual5.dwAvailPhys-memStatusVirtual6.dwAvailPhys<<endl

    cout<<"减少可用页文件="<<memStatusVirtual5.dwAvailPageFile-memStatusVirtual6.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatusVirtual5.dwAvailVirtual-memStatusVirtual6.dwAvailVirtual<<endl<<endl;

      结果如下:

    wps_clip_image-11294

     

    分配了物理内存,可能分配时需要进程空间管理。

     

    物理内存映射进程空间:

    int* pVInt=(int*)pVirtual;

                //pVInt[0]=10;这时候访问会出错

                flag=MapUserPhysicalPages(pVirtual,1,frameArray);

                if(flag==FALSE)

                            cout<<"映射物理内存失败!"<<endl;

                MEMORYSTATUS memStatusVirtual7;

                GlobalMemoryStatus(&memStatusVirtual7);

                cout<<"物理内存分配:"<<endl;

    cout<<"减少物理内存="<<memStatusVirtual6.dwAvailPhys-memStatusVirtual7.dwAvailPhys<<endl

    cout<<"减少可用页文件="<<memStatusVirtual6.dwAvailPageFile-memStatusVirtual7.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="

    <<memStatusVirtual6.dwAvailVirtual-memStatusVirtual7.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-27688

     

    这个过程没有损失任何东西。

     

    看看第一次映射和第二次映射的值:

    pVInt[0]=10;

                cout<<"第一次映射值="<<pVInt[0]<<endl;

                            flag=MapUserPhysicalPages(pVirtual,1,frameArray+1);

                if(flag==FALSE)

                            cout<<"映射物理内存失败!"<<endl;

                pVInt[0]=21;

                cout<<"第二次映射值="<<pVInt[0]<<endl;

                flag=MapUserPhysicalPages(pVirtual,1,frameArray);

                if(flag==FALSE)

                            cout<<"映射物理内存失败!"<<endl;

                cout<<"再现第一次映射值="<<pVInt[0]<<endl;

    结果如下:

    wps_clip_image-23673

     

    可以看出,第二次映射的值没有覆盖第一次映射的值,也就是说,用同一个进程空间地址可以取出两份数据,这样的话,相当于进程的地址空间增大了。

     

    (四):内存映射文件

    4.      内存管理机制--内存映射文件 (Map)

        和虚拟内存一样,内存映射文件可以用来保留一个进程地址区域;但是,与虚拟内存不同,它提交的不是物理内存或是虚拟页文件,而是硬盘上的文件。

    ·        使用场合

    它有三个主要用途:

    系统加载EXE和DLL文件

    操作系统就是用它来加载exe和dll文件建立进程,运行exe。这样可以节省页文件和启动时间。

    访问大数据文件

    如果文件太大,比如超过了进程用户区2G,用fopen是不能对文件进行操作的。这时,可用内存映射文件。对于大数据文件可以不必对文件执行I/O操作,不必对所有文件内容进行缓存。

    进程共享机制

    内存映射文件是多个进程共享数据的一种较高性能的有效方式,它也是操作系统进程通信机制的底层实现方法。RPC、COM、OLE、DDE、窗口消息、剪贴板、管道、Socket等都是使用内存映射文件实现的。

    ·        系统加载EXE和DLL文件

    ü      EXE文件格式

    每个EXE和DLL文件由许多节(Section)组成,每个节都有保护属性:READ,WRITE,EXECUTE和SHARED(可以被多个进程共享,关闭页面的COPY-ON-WRITE属性)。

    以下是常见的节和作用:

    节名

    作用

    .text

    .exe和.dll文件的代码

    .data

    已经初始化的数据

    .bss

    未初始化的数据

    .reloc

    重定位表(装载进程的进程地址空间)

    .rdata

    运行期只读数据

    .CRT

    C运行期只读数据

    .debug

    调试信息

    .xdata

    异常处理表

    .tls

    线程的本地化存储

    .idata

    输入文件名表

    .edata

    输出文件名表

    .rsrc

    资源表

    .didata

    延迟输入文件名表

     

    ü      加载过程

    1.      系统根据exe文件名建立进程内核对象、页目和页表,也就是建立了进程的虚拟空间。

    2.      读取exe文件的大小,在默认基地址0x0040 0000上保留适当大小的区域。可以在链接程序时用/BASE 选项更改基地址(在VC工程属性\链接器\高级上设置)。提交时,操作系统会管理页目和页表,将硬盘上的文件映射到进程空间中,页表中保存的地址是exe文件的页偏移。

    3.      读取exe文件的.idata节,此节列出exe所用到的所有dll文件。然后和

    exe文件一样,将dll文件映射到进程空间中。如果无法映射到基地址,系统会重新定位。

    4.   映射成功后,系统会把第一页代码加载到内存,然后更新页目和页

    表。将第一条指令的地址交给线程指令指针。当系统执行时,发现代码没有在内存中,会将exe文件中的代码加载到内存中。

                 

    ü      第二次加载时(运行多个进程实例)

    1.      建立进程、映射进程空间都跟前面一样,只是当系统发现这个exe已

          经建立了内存映射文件对象时,它就直接映射到进程空间了;只是当

         系统分配物理页面时,根据节的保护属性赋予页面保护属性,对于代码

         节赋予READ属性,全局变量节赋予COPY-ON-WRITE属性。

    2.      不同的实例共享代码节和其他的节,当实例需要改变页面内容时,会

          拷贝页面内容到新页面,更新页目和页表。

    3.      对于不同进程实例需要共享的变量,exe文件有一

          个默认的节, 给这个节赋予SHARED属性。

    4.      你也可以创建自己的SHARED节

    #pragma data_seg(“节名”)

    Long instCount;

    #pragma data_seg()

    然后,你需要在链接程序时告诉编译器节的默认属性。

    /SECTION: 节名,RWS

    或者,在程序里用以下表达式:

    #pragma comment(linker,“/SECTION:节名,RWS”)

    这样的话编译器会创建.drective节来保存上述命令,然后链接时会用它改变节属性。

    注意,共享变量有可能有安全隐患,因为它可以读到其他进程的数据。

    C++程序:多个进程共享变量举例

    *.cpp开始处:

    #pragma data_seg(".share")

    long shareCount=0;

    #pragma data_seg()

    #pragma comment(linker,"/SECTION:.share,RWS")

    ShareCount++;

     

    注意,同一个exe文件产生的进程会共享shareCount,必须是处于同一个位置上exe

     

    ·        访问大数据文件

    ü      创建文件内核对象

    使用CreateFile(文件名,访问属性,共享模式,…) API可以创建。

    其中,访问属性有:

    0 不能读写 (用它可以访问文件属性)

    GENERIC_READ

    GENERIC_WRITE

    GENERIC_READ|GENERIC_WRITE;

    共享模式:

    0 独享文件,其他应用程序无法打开

    FILE_SHARE_WRITE

    FILE_SHARE_READ|FILE_SHARE_WRITE

    这个属性依赖于访问属性,必须和访问属性不冲突。

    当创建失败时,返回INVALID_HANDLE_VALUE。

     

    C++程序如下:

    试图打开一个1G的文件:

    MEMORYSTATUS memStatus;

    GlobalMemoryStatus(&memStatus);

    HANDLE hn=CreateFile(L"D:\\1G.rmvb",GENERIC_READ|GENERIC_WRITE,

    FILE_SHARE_READ|FILE_SHARE_WRITE,NULL,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,NULL);

                  if(hn==INVALID_HANDLE_VALUE)

                            cout<<"打开文件失败!"<<endl;

                  FILE *p=fopen("D:\\1G.rmvb","rb");

                  if(p==NULL)

                            cout<<"用fopen不能打开大文件!"<<endl;

                  MEMORYSTATUS memStatus2;

                  GlobalMemoryStatus(&memStatus2);

                  cout<<"打开文件后的空间:"<<endl;

    cout<<"减少物理内存="<<memStatus.dwAvailPhys-memStatus2.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus.dwAvailPageFile-memStatus2.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="

    <<memStatus.dwAvailVirtual-memStatus2.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-22192

     

    可见,系统需要一些内存来管理内核对象,每一次运行的结果都不一样,但差别不会太大。

    用c语言的fopen不能打开这么大的文件。理论上,32位系统能支持232字节,但是,进程空间只有2G,它只能表示那么大的空间。

    ü      创建文件映射内核对象

    API如下:

    HANDLE CreateFileMapping(Handle 文件,PSECURITY_ATTRIBUTES 安全属性,DWORD 保护属性,DWORD 文件大小高32位,DWORD 文件大小低32位,PCTSTR  映射名称)

    “文件”是上面创建的句柄;

    “安全属性”是内核对象需要的,NULL表示使用系统默认的安全属性;“保护属性”是当将存储器提交给进程空间时,需要的页面属性:PAGE_READONLY, PAGE_READWRITE和PAGE_WRITECOPY。这个属性不能和文件对象的访问属性冲突。除了这三个外,还有两个属性可以和它们连接使用(|)。当更新文件内容时,不提供缓存,直接写入文件,可用SEC_NOCACHE;当文件是可执行文件时,系统会根据节赋予不同的页面属性,可用SEC_IMAGE。另外,SEC_RESERVE和SEC_COMMIT用于稀疏提交的文件映射,详细介绍请参考下文。

    “文件大小高32位”和“文件大小低32位”联合起来告诉系统,这个映射所能支持的文件大小(操作系统支持264B文件大小);当这个值大于实际的文件大小时,系统会扩大文件到这个值,因为系统需要保证进程空间能完全被映射。值为0默认为文件的大小,这时候如果文件大小为0,创建失败。

    “映射名称”是给用户标识此内核对象,供各进程共享,如果为NULL,则不能共享。

    对象创建失败时返回NULL。

    创建成功后,系统仍未为文件保留进程空间。

     

    C++程序:

                            MEMORYSTATUS memStatus2;

                            GlobalMemoryStatus(&memStatus2);

    HANDLE hmap=CreateFileMapping(hn,NULL,PAGE_READWRITE,0,0,L"Yeming-Map");

                            if(hmap==NULL)

                            cout<<"建立内存映射对象失败!"<<endl;

                            MEMORYSTATUS memStatus3;

                            GlobalMemoryStatus(&memStatus3);

                            cout<<"建立内存映射文件后的空间:"<<endl;

    cout<<"减少物理内存="<<memStatus2.dwAvailPhys-memStatus3.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus2.dwAvailPageFile-memStatus3.dwAvailPageFile<<endl;

             cout<<"减少可用进程空间="

    <<memStatus2.dwAvailVirtual-memStatus3.dwAvailVirtual<<endl<<endl;

                结果如下:

          wps_clip_image-12600

     

    默认内存映射的大小是1G文件。没有损失内存和进程空间。它所做的是建立内核对象,收集一些属性。

     

    ü      文件映射内核对象映射到进程空间

    API如下:

    PVOID MAPViewOfFile(HANDLE 映射对象,DWORD访问属性,DWORD 偏移量高32位,DWORD 偏移量低32位,SIZE_T 字节数)

    “映射对象”是前面建立的对象;

    “访问属性”可以是下面的值:FILE_MAP_WRITE(读和写)、FILE_MAP_READ、FILE_MAP_ALL_ACCESS(读和写)、FILE_MAP_COPY。当使用FILE_MAP_COPY时,系统分配虚拟页文件,当有写操作时,系统会拷贝数据到这些页面,并赋予PAGE_READWRITE属性。

    可以看到,每一步都需要设置这类属性,是为了可以多点控制,试想,如果在这一步想有多种不同的属性操作文件的不同部分,就比较有用。

    “偏移高32位”和“偏移低32位”联合起来标识映射的开始字节(地址是分配粒度的倍数);

    “字节数”指映射的字节数,默认0为到文件尾。

     

    当你需要指定映射到哪里时,你可以使用:

    PVOID MAPViewOfFile(HANDLE 映射对象,DWORD访问属性,DWORD 偏移量高32位,DWORD 偏移量低32位,SIZE_T 字节数,PVOID 基地址)

    “基地址”是映射到进程空间的首地址,必须是分配粒度的倍数。

     

    C++程序:

    MEMORYSTATUS memStatus3;

                GlobalMemoryStatus(&memStatus3);

                LPVOID pMAP=MapViewOfFile(hmap,FILE_MAP_WRITE,0,0,0);

                cout<<"映射内存映射文件后的空间:"<<endl;

    if(pMAP==NULL)

                   cout<<"映射进程空间失败!"<<endl;

                else

                   printf("首地址=%x\n",pMAP);

                MEMORYSTATUS memStatus4;

                GlobalMemoryStatus(&memStatus4);

    cout<<"减少物理内存="<<memStatus3.dwAvailPhys-memStatus4.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus3.dwAvailPageFile-memStatus4.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="

    <<memStatus3.dwAvailVirtual-memStatus4.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-1538

     

    进程空间减少了1G,系统同时会开辟一些内存来做文件缓存。

    ü      使用文件

    1.      对于大文件,可以用多次映射的方法达到访问的目的。有点像AWE技术。

    2.      Windows只保证同一文件映射内核对象的多次映射的数据一致性,比如,当有两次映射同一对象到二个进程空间时,一个进程空间的数据改变后,另一个进程空间的数据也会跟着改变;不保证不同映射内核对象的多次映射的一致性。所以,使用文件映射时,最好在CreateFile时将共享模型设置为0独享,当然,对于只读文件没这个必要。

        C++程序:使用1G的文件

    MEMORYSTATUS memStatus4;

                            GlobalMemoryStatus(&memStatus4);

                            cout<<"读取1G文件前:"<<endl;

                            cout<<"可用物理内存="<<memStatus4.dwAvailPhys<<endl;

                            cout<<"可用页文件="<<memStatus4.dwAvailPageFile<<endl;

                            cout<<"可用进程空间="<<memStatus4.dwAvailVirtual<<endl<<endl;

                            int* pInt=(int*)pMAP;

                            cout<<"更改前="<<pInt[1000001536/4-1]<<endl;//文件的最后一个整数

                            for(int i=0;i<1000001536/4-1;i++)

                                 pInt[i]++;

                            pInt[1000001536/4-1]=10;

                            pInt[100]=90;

                            pInt[101]=100;

                            cout<<"读取1G文件后:"<<endl;

                            MEMORYSTATUS memStatus5;

                            GlobalMemoryStatus(&memStatus5);

                            cout<<"可用物理内存="<<memStatus5.dwAvailPhys<<endl;

                            cout<<"可用页文件="<<memStatus5.dwAvailPageFile<<endl;

                            cout<<"可用进程空间="<<memStatus5.dwAvailVirtual<<endl<<endl;

              

    结果如下:

    wps_clip_image-23214

     

    程序将1G文件的各个整型数据加1,从上图看出内存损失了600多兆,但有时候损失不过十几兆,可能跟系统当时的状态有关。

    不管怎样,这样你完全看不到I/O操作,就像访问普通数据结构一样方便。

     

    ü      保存文件修改

    为了提高速度,更改文件时可能只更改到了系统缓存,这时,需要强制保存更改到硬盘,特别是撤销映射前。

    BOOL FlushViewOfFile(PVOID 进程空间地址,SIZE_T 字节数)

    “进程空间地址”指的是需要更改的第一个字节地址,系统会变成页面的地址;

    “字节数”,系统会变成页面大小的倍数。

    写入磁盘后,函数返回,对于网络硬盘,如果希望写入网络硬盘后才返回的话,需要将FILE_FLAG_WRITE_THROUGH参数传给CreateFile。

     

    当使用FILE_MAP_COPY建立映射时,由于对数据的更改只是对虚拟页文件的修改而不是硬盘文件的修改,当撤销映射时,会丢失所做的修改。如果要保存,怎么办?

    你可以用FILE_MAP_WRITE建立另外一个映射,它映射到进程的另外一段空间;扫描第一个映射的PAGE_READWRITE页面(因为属性被更改),如果页面改变,用MoveMemory或其他拷贝函数将页面内容拷贝到第二次映射的空间里,然后再调用FlushViewOfFile。当然,你要记录哪个页面被更改。

    ü      撤销映射

    用以下API可以撤销映射:

    BOOL  UnmapViewOfFile(PVOID pvBaseAddress)

    这个地址必须与MapViewOfFile返回值相同。

     

    ü      关闭内核对象

    在不需要内核对象时,尽早将其释放,防止内存泄露。由于它们是内核对象,调用CloseHandle(HANDLE)就可以了。

    在CreateFileMapping后马上关闭文件句柄;

    在MapViewOfFile后马上关闭内存映射句柄;

    最后再撤销映射。

    ·        进程共享机制

    ü      基于硬盘文件的内存映射

    如果进程需要共享文件,只要按照前面的方式建立内存映射对象,然后按照名字来共享,那么进程就可以映射这个对象到自己的进程空间中。

    C++程序如下:

    HANDLE mapYeming=OpenFileMapping(FILE_MAP_WRITE,true,L"Yeming-Map");

                            if(mapYeming==NULL)

                            cout<<"找不到内存映射对象:Yeming-Map!"<<endl;

                            MEMORYSTATUS memStatus3;

                            GlobalMemoryStatus(&memStatus3);

    LPVOID pMAP=MapViewOfFile(mapYeming,FILE_MAP_WRITE,0,0,100000000);

                            cout<<"建立内存映射文件后的空间:"<<endl;

                            if(pMAP==NULL)

                            cout<<"映射进程空间失败!"<<endl;

                            else

                            printf("首地址=%x\n",pMAP);

              

                            MEMORYSTATUS memStatus4;

                            GlobalMemoryStatus(&memStatus4);

              

    cout<<"减少物理内存="<<memStatus3.dwAvailPhys-memStatus4.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus3.dwAvailPageFile-memStatus4.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus3.dwAvailVirtual-memStatus4.dwAvailVirtual<<endl<<endl;

     

                            int* pInt=(int*)pMAP;

             cout<<pInt[100]<<endl;

           

             结果如下:

    wps_clip_image-8958

     

    在2.exe中打开之前1.exe创建的内存映射对象(当然,1.exe得处于运行状态),然后映射进自己的进程空间,当1.exe改变文件的值时,2.exe的文件对应值也跟着改变,Windows保证同一个内存映射对象映射出来的数据是一致的。可以看见,1.exe将值从90改为91,2.exe也跟着改变,因为它们有共同的缓冲页。

     

    ü      基于页文件的内存映射

    如果只想共享内存数据时,没有必要创建硬盘文件,再建立映射。可以直

    接建立映射对象:

    只要传给CreateFileMapping一个文件句柄INVALID_HANDLE_VALUE就行了。所以,CreateFile时,一定要检查返回值,否则会建立一个基于页文件的内存映射对象。接下来就是映射到进程空间了,这时,系统会分配页文件给它。

    C++程序如下:

     

    HANDLE hPageMap=CreateFileMapping(INVALID_HANDLE_VALUE,NULL,PAGE_READWRITE,0,

    100000000,L"Yeming-Map-Page");

                if(hPageMap==NULL)

                            cout<<"建立基于页文件的内存映射对象失败!"<<endl;

                MEMORYSTATUS memStatus6;

                GlobalMemoryStatus(&memStatus6);

                cout<<"建立基于页文件的内存映射文件后的空间:"<<endl;

    cout<<"减少物理内存="<<memStatus5.dwAvailPhys-memStatus6.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus5.dwAvailPageFile-memStatus6.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus5.dwAvailVirtual-memStatus6.dwAvailVirtual<<endl<<endl;          

    LPVOID pPageMAP=MapViewOfFile(hPageMap,FILE_MAP_WRITE,0,0,0);       

                结果如下:

           wps_clip_image-30913

     

    可见,和基于数据文件的内存映射不同,现在刚建立内核对象时就分配了所要的100M内存。好处是,别的进程可以通过这个内核对象共享这段内存,只要它也做了映射。

     

    ü      稀疏内存映射文件

    在虚拟内存一节中,提到了电子表格程序。虚拟内存解决了表示很少单元格有数据但必须分配所有内存的内存浪费问题;但是,如果想在多个进程之间共享这个电子表格结构呢?

    如果用基于页文件的内存映射,需要先分配页文件,还是浪费了空间,没有了虚拟内存的优点。

    Windows提供了稀疏提交的内存映射机制。

    当使用CreateFileMapping时,保护属性用SEC_RESERVE时,其不提交物理存储器,使用SEC_COMMIT时,其马上提交物理存储器。注意,只有文件句柄为INVALID_HANDLE_VALUE时,才能使用这两个参数。

    按照通常的方法映射时,系统只保留进程地址空间,不会提交物理存储器。

    当需要提交物理内存时才提交,利用通常的VirtualAlloc函数就可以提交。

    当释放内存时,不能调用VirtualFree函数,只能调用UnmapViewOfFile来撤销映射,从而释放内存。

     

    C++程序如下:

    HANDLE hVirtualMap=CreateFileMapping(INVALID_HANDLE_VALUE,NULL,PAGE_READWRITE|SEC_RESERVE,0,100000000,L"Yeming-Map-Virtual");

    if(hPageMap==NULL)

                            cout<<"建立基于页文件的稀疏内存映射对象失败!"<<endl;

                MEMORYSTATUS memStatus8;

                GlobalMemoryStatus(&memStatus8);

                cout<<"建立基于页文件的稀疏内存映射文件后的空间:"<<endl;

    cout<<"减少物理内存="<<memStatus7.dwAvailPhys-memStatus8.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus7.dwAvailPageFile-memStatus8.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus7.dwAvailVirtual-memStatus8.dwAvailVirtual<<endl<<endl;

              

    LPVOID pVirtualMAP=MapViewOfFile(hVirtualMap,FILE_MAP_WRITE,0,0,0);

                cout<<"内存映射进程后的空间:"<<endl;

                if(pVirtualMAP==NULL)

                            cout<<"映射进程空间失败!"<<endl;

                else

                            printf("首地址=%x\n",pVirtualMAP);

              

                MEMORYSTATUS memStatus9;

                GlobalMemoryStatus(&memStatus9);

              

    cout<<"减少物理内存="<<memStatus8.dwAvailPhys-memStatus9.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus8.dwAvailPageFile-memStatus9.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus8.dwAvailVirtual-memStatus9.dwAvailVirtual<<endl<<endl;

           

    结果如下:

    wps_clip_image-9810

     

    用了SEC_RESERVE后,只是建立了一个内存映射对象,和普通的一样;不同的是,它映射完后,得到了一个虚拟进程空间。现在,这个空间没有分配任何的物理存储器给它,你可以用VirtualAlloc 提交存储器给它,详细请参考上一篇<虚拟内存(VM)>。

    注意,你不可以用VirtualFree来释放了,只能用UnmapViewOfFile来。

    C++程序如下:

    LPVOID pP=VirtualAlloc(pVirtualMAP,100*1000*1000,MEM_COMMIT,PAGE_READWRITE);

                MEMORYSTATUS memStatus10;

                GlobalMemoryStatus(&memStatus10);

              

    cout<<"减少物理内存="<<memStatus9.dwAvailPhys-memStatus10.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus9.dwAvailPageFile-memStatus10.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus9.dwAvailVirtual-memStatus10.dwAvailVirtual<<endl<<endl;

     

                bool result=VirtualFree(pP,100000000,MEM_DECOMMIT);

                if(!result)

                            cout<<"释放失败!"<<endl;

                 result=VirtualFree(pP,100000000,MEM_RELEASE);

                if(!result)

                            cout<<"释放失败!"<<endl;

     

                CloseHandle(hVirtualMap);

                MEMORYSTATUS memStatus11;

                GlobalMemoryStatus(&memStatus11);

    cout<<"增加物理内存="<<memStatus11.dwAvailPhys-memStatus10.dwAvailPhys<<endl;

    cout<<"增加可用页文件="<<memStatus11.dwAvailPageFile-memStatus10.dwAvailPageFile<<endl;

    cout<<"增加可用进程空间="<<memStatus11.dwAvailVirtual-memStatus10.dwAvailVirtual<<endl<<endl;

     

                result=UnmapViewOfFile(pVirtualMAP);

                if(!result)

                            cout<<"撤销映射失败!"<<endl;

     

                MEMORYSTATUS memStatus12;

                GlobalMemoryStatus(&memStatus12);

    cout<<"增加物理内存="<<memStatus12.dwAvailPhys-memStatus11.dwAvailPhys<<endl;

    cout<<"增加可用页文件="<<memStatus12.dwAvailPageFile-memStatus11.dwAvailPageFile<<endl;

    cout<<"增加可用进程空间="

    <<memStatus12.dwAvailVirtual-memStatus11.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-8257

     

    可以看见,用VirtualFree是不能够释放这个稀疏映射的;最后用UnmapViewOfFile得以释放进程空间和物理内存。

    (五):堆

    5.      内存管理机制--堆 (Heap)

    ·        使用场合

    堆是进程创建时在进程空间建立的区域,由堆管理器来管理。一个进程可以有很多个堆。进程有一个默认堆为1M,可以动态的扩大。

    当程序需要管理很多小对象时,适合用堆;当需要的空间大于1M时,最好用虚拟内存来管理。

    堆的优点是,有堆管理器来替它管理,不需管理具体的事情如页面边界

            和分配粒度等问题,你可以从调用函数看的出来,比VirtualAlloc的参数少了

            不少。

             堆的缺点是分配和释放的速度比前几种机制要慢,所以最好不要超过

             1M;不像虚拟内存那样随时提交和释放,因为它是由堆管理器决定的。如果

             用堆分配1G的空间,需要1分种,而用虚拟内存,则感觉不到任何延迟。   

    ·        默认堆

    进程默认堆是供所有线程使用的,每当线程需要从堆中分配释放内存区时,系

     统会同步堆,所以访问速度较慢。

    它的默认大小是1M,同样的,你可以通过以下链接命令改变其大小:

    #pragma comment(linker,"/HEAP:102400000,1024000")

    第一个值是堆的保留空间,第二个值是堆开始时提交的物理内存大小。本文将堆改变为100M。

    当你在程序中扩大了堆提交的物理内存时,进程运行时,物理内存将减少扩大的数量。但是,默认堆总是可以扩大的,不能限制它的最大值。

    当你在程序中扩大了堆保留的空间时,进程运行时,可用进程空间将会减少扩大的数量。

    每次你用New操作符分配内存时,进程空间会相应的减少,物理内存也会相应的减少。

     

    一个重要的提示,本文经过测试,如果你需要的内存块大部分都超过512K,那么,建堆时给它的初始大小不应该很大,因为,如果你所需内存块大于512K的话,它不是从堆中分配的,也就是说不用堆中默认的空间,但其仍然属于堆管理。

     

    默认堆的一个用处是系统函数需要利用它运行。比如,Windows2000的字符集是UNICODE的,如果调用ANSI版本的函数,系统需要利用堆来从ANSI到UNICODE的转换,调用UNICODE版本的函数。

    ·        自建堆

    ü      使用场合

    保护数据结构:

    将不同的数据结构存在不同的堆中,可以防止不同的结构之间由于指针误操作而破坏了它们。

    消除内存碎片:

    将大小不同的结构保存在一个堆中,会导致碎片的产生,比如释放一个小结构时,大结构也不能利用它。

    独享堆的快速:

    如果用默认堆的话,线程之间是同步访问,速度慢;如果创建独享堆,则系统可以不需同步,比较快。

    第二个快速体现在释放的快速,默认堆中,你只能释放某个内存块,而不能释放整个堆;而独享堆可以一次释放堆,也就是释放了所有的内存块。

    ü      开始使用

             建立堆:

                使用以下API 

                HANDLE HeapCreate(DWORD 选项,SIZE_T 初始大小,SIZE_T 最大值)

    “选项” 取值为0 ,不是以下任意一个

    HEAP_NO_SERIALIZE,系统无需同步堆

    HEAP_GENERATE_EXCEPTIONS,当创建失败或分配失败时产生异常。

    “初始大小”是堆的大小,系统会规整到页面的整数倍,如0~4096的任何数都为4096;但是,进程空间至少要64K。

    “最大值”是堆允许的最大值;为0则无限。

    使用HEAP_NO_SERIALIZE需确定只有单线程访问这个堆,否则有可能破坏堆;或程序有同步代码来同步堆。

    C++程序如下:

    pHeap=(char*)GetProcessHeap();

    printf("默认堆地址=%x\n",pHeap);

     

    MEMORYSTATUS memStatus2;

                GlobalMemoryStatus(&memStatus2);

    HANDLE hHeap=HeapCreate(HEAP_NO_SERIALIZE|HEAP_GENERATE_EXCEPTIONS,1024*1024*50,0);

                char* pHeap=(char*)hHeap;

                printf("新建堆1地址=%x\n",pHeap); 

                if(hHeap==NULL)

                {

                            cout<<"创建堆失败!"<<endl;

                }

                MEMORYSTATUS memStatus3;

                GlobalMemoryStatus(&memStatus3);

                cout<<"建立堆后:"<<endl;

    cout<<"减少物理内存="<<memStatus2.dwAvailPhys-memStatus3.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus2.dwAvailPageFile-memStatus3.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus2.dwAvailVirtual-memStatus3.dwAvailVirtual<<endl<<endl;

     

    HANDLE hHeap2=HeapCreate(HEAP_NO_SERIALIZE|HEAP_GENERATE_EXCEPTIONS,1024*1024*10,0);

                char* pHeap2=(char*)hHeap2;

                printf("新建堆2地址=%x\n",pHeap2);

     

                结果如下:

                wps_clip_image-15616

    当建立堆1时,它分配了50M的物理内存给堆使用;当建立堆2时,堆2的地址是0x04bc 0000=0x019c 0000+50*1024*1024.

            分配内存:

                使用以下API

                PVOID HeapAlloc(HANDLE 堆句柄,DWORD 选项,SIZE_T 字节数)

                “选项”可以是,

                HEAP_ZERO_MEMORY,所有字节初始化为0

                HEAP_NO_SERIALIZE,堆这个内存区独享

    HEAP_GENERATE_EXCEPTIONS,产生异常。如果创建堆有了它就不用再设了。异常可能为:STATUS_NO_MEMOR(无足够内存)和STATUS_ACCESS_VIOLATION(堆被破坏,分配失败)。

     

    C++程序如下:

    GlobalMemoryStatus(&memStatus3);

    PVOID pV=HeapAlloc(hHeap,

    HEAP_ZERO_MEMORY|HEAP_NO_SERIALIZE|HEAP_GENERATE_EXCEPTIONS,1024*507);

                if(pV==NULL)

                {

                            cout<<"分配堆内存失败!"<<endl;

                }

                char * pC=(char*)pV;

                printf("第一次分配地址=%x\n",pC);

              

                MEMORYSTATUS memStatus4;

                GlobalMemoryStatus(&memStatus4);

                cout<<"第一次堆分配后:"<<endl;

    cout<<"减少物理内存="<<memStatus3.dwAvailPhys-memStatus4.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus3.dwAvailPageFile-memStatus4.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus3.dwAvailVirtual-memStatus4.dwAvailVirtual<<endl<<endl;

     

    PVOID pV2=HeapAlloc(hHeap,

    HEAP_ZERO_MEMORY|HEAP_NO_SERIALIZE|HEAP_GENERATE_EXCEPTIONS,1024*508);

                if(pV2==NULL)

                {

                            cout<<"分配堆内存失败!"<<endl;

                }

                char * pC2=(char*)pV2;

                printf("第二次分配地址=%x\n",pC2);

                MEMORYSTATUS memStatus5;

                GlobalMemoryStatus(&memStatus5);

                cout<<"第二次堆分配后:"<<endl;

    cout<<"减少物理内存="<<memStatus4.dwAvailPhys-memStatus5.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus4.dwAvailPageFile-memStatus5.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus4.dwAvailVirtual-memStatus5.dwAvailVirtual<<endl<<endl;

                for(int i=0;i<200*1024;i++)

                            pC2[i]=9;

     

                MEMORYSTATUS memStatus10;

                GlobalMemoryStatus(&memStatus10);

                cout<<"第二次堆使用一半后:"<<endl;

    cout<<"减少物理内存="<<memStatus5.dwAvailPhys-memStatus10.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus5.dwAvailPageFile-memStatus10.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="

    <<memStatus5.dwAvailVirtual-memStatus10.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-20435

     

    可以看出,第一次分配507K的地址为0x04ad d650<0x04bc 0000,它是在堆中分配的;第二次分配508K的地址为0x055c 0020>0x04bc 0000,它是在堆外分配的;无论在多大的堆中,只要分配内存块大于507K时,都会在堆外分配,但是,它像在堆中一样,存在堆的链接表中,受堆管理。分配时,系统使用的是虚拟页文件;只有在真正使用时,才会分配物理内存。

    至于为什么分配大于507K会在堆外分配而不直接使用堆中的内存,目前仍然不清楚。

             改变大小:

    PVOID HeapReAlloc(HANDLE 堆句柄,DWORD 选项,PVOID 旧内存块地址,SIZE_T 新内存块大小)

    “选项”除了以上三个外,还有HEAP_REALLOC_IN_PLACE_ONLY,指定不能移动原有内存块的地址。

    C++程序如下:

    GlobalMemoryStatus(&memStatus4);

                PVOID pV2New=HeapReAlloc(hHeap,0,pV2,1024*1024*2);

                if(pV2New!=NULL)

                {

                char * pC2New=(char*)pV2New;

                printf("改变分配地址=%x\n",pC2New);

                cout<<pC2New[0]<<endl;

                //cout<<pC2[0]<<endl;出现访问违规

                SIZE_T lenNew=HeapSize(hHeap,0,pV2New);

                cout<<"改变后大小="<<lenNew<<endl;

                }

                GlobalMemoryStatus(&memStatus5);

                cout<<"改变分配后:"<<endl;

    cout<<"减少物理内存="<<memStatus4.dwAvailPhys-memStatus5.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus4.dwAvailPageFile-memStatus5.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="

    <<memStatus4.dwAvailVirtual-memStatus5.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-535

     

    可以看出,新内存块紧接着原来内存块结束的地方开始创建,大小为2M;原来的内存块的内容被销毁和释放,所以新内存块只减少了增加的内存量。一个缺点就是,新内存块居然不保留原来内存的内容!另外,如果采用HEAP_REALLOC_IN_PLACE_ONLY的话,出现Not Enough Quote异常。也就是说,当前内存的状况是,必须移动才可以扩大此内存块。

             查询内存:

                可以查询堆中一个内存块的大小。

                SIZE_T HeapSize(HANDLE 堆句柄,DWORD 选项,LPVOID 内存块地址)

                “选项”可为0或HEAP_NO_SERIALIZE。

                参考以上例子。

             释放内存块:

                BOOL HeapFree(HANDLE 堆句柄,DWORD 选项,PVOID 内存块地址)

                “选项”可为0或HEAP_NO_SERIALIZE。

                C++程序如下:

                GlobalMemoryStatus(&memStatus5);

                HeapFree(hHeap,0,pV2New);

                MEMORYSTATUS memStatus6;

                GlobalMemoryStatus(&memStatus6);

                cout<<"第二次堆分配释放后:"<<endl;

    cout<<"增加物理内存="<<memStatus6.dwAvailPhys-memStatus5.dwAvailPhys<<endl;

    cout<<"增加可用页文件="<<memStatus6.dwAvailPageFile-memStatus5.dwAvailPageFile<<endl;

    cout<<"增加可用进程空间="<<memStatus6.dwAvailVirtual-memStatus5.dwAvailVirtual<<endl<<endl;

    结果如下:

    wps_clip_image-31041

     

                内存空间释放了原来的2M空间。

             释放堆:

                BOOL HeapDestroy(HANDLE 堆句柄)

                不能用它释放默认堆,系统忽略它的处理。

    这一次,我们先在堆1中分配了70M的内存,由于它很大,所以,堆在堆外给它分配了内存,所以,堆1一共有50M+70M=120M。释放程序如下:

    PVOID pV4=HeapAlloc(hHeap,HEAP_ZERO_MEMORY|HEAP_NO_SERIALIZE|HEAP_GENERATE_EXCEPTIONS)

    ,1024*1024*70);

                if(pV4==NULL)

                {

                            cout<<"分配堆内存失败!"<<endl;

                }

                char * pC4=(char*)pV4;

                printf("第四次堆分配=%x\n",pC4);

                MEMORYSTATUS memStatus9;

                GlobalMemoryStatus(&memStatus9);

                cout<<"分配堆内存后:"<<endl;

    cout<<"减少物理内存="<<memStatus7.dwAvailPhys-memStatus9.dwAvailPhys<<endl;

    cout<<"减少可用页文件="<<memStatus7.dwAvailPageFile-memStatus9.dwAvailPageFile<<endl;

    cout<<"减少可用进程空间="<<memStatus7.dwAvailVirtual-memStatus9.dwAvailVirtual<<endl<<endl;

     

                SIZE_T len=HeapSize(hHeap,0,pV4);

                cout<<"len="<<len<<endl;

                bool re=HeapDestroy(hHeap);

                if(re==false)

                {

                            cout<<"释放堆失败!"<<endl;

    }

    MEMORYSTATUS memStatus8;

                GlobalMemoryStatus(&memStatus8);

                cout<<"释放堆后:"<<endl;

    cout<<"增加物理内存="<<memStatus8.dwAvailPhys-memStatus9.dwAvailPhys<<endl;

    cout<<"增加可用页文件="<<memStatus8.dwAvailPageFile-memStatus9.dwAvailPageFile<<endl;

    cout<<"增加可用进程空间="<<memStatus8.dwAvailVirtual-memStatus9.dwAvailVirtual<<endl<<endl;

     

    结果如下:

    wps_clip_image-16209

     

    如所猜想一样,释放了120M内存。

     

             获取所有堆:

                DWORD GetProcessHeaps(DWORD 数量,PHANDLE 句柄数组)

                “数量”是你想获取的堆数目;

                “句柄数组”是获得的堆句柄。

                默认堆也可以获取。

                HANDLE        handles[10];

                memset(handles,0,sizeof(handles));

                GetProcessHeaps(10,handles);

                for(int i=0;i<10;i++)

                            cout<<"堆"<<i+1<<"="<<handles[i]<<endl;

                结果如下:

                wps_clip_image-10795

    可以看见,一共有8个堆,堆1是默认堆,堆7和堆8是本文建立的堆。另外5个不知来源。

             验证堆:

                BOOL HeapValidate(HANDLE 堆句柄,DWORD 选项,LPVOID 内存块地址)

                “选项” 可为0或HEAP_NO_SERIALIZE;

                “内存块地址”为NULL时,验证所有内存块。

                C++程序如下:

    HANDLE        handles[10];

                memset(handles,0,sizeof(handles));

                GetProcessHeaps(10,handles);

                for(int i=0;i<10;i++)

                {

                            cout<<"堆"<<i+1<<"="<<handles[i]<<"   ";

                            if(HeapValidate(handles[i],0,NULL))

                                        cout<<"验证堆成功!"<<endl;

                            else

                                        cout<<endl;

     

                }

    结果如下:

    wps_clip_image-13162

     

            合并内存块:

                UINT HeapCompact(HANDLE 堆句柄,DWORD 选项)

                “选项” 可为0或HEAP_NO_SERIALIZE;

                此函数可以合并空闲内存块。

          

            其他函数:

                HeapLock和HeapUnlock 通常是系统使用的;

                HeapWalk可以遍历堆内存,需要以上两个函数。

              

    ·        C++内存函数

    Malloc和Free

    这是C语言使用的函数,只能从默认堆中分配内存,并且只是分配内存,不能调用构造函数,且只是按字节分配,不能按类型分配。

    New 和Delete

    这是C++语言使用的函数,默认情况下从默认堆中分配内存,但是也可以通过重载New函数,从自建堆中按类型分配;同时可以执行构造函数和析构函数。它底层是通过HeapAlloc和HeapFree实现的。 依赖于编译器的实现。

    GlobalAlloc 和GlobalFree

    这是比HeapAlloc和HeapFree更慢的函数,但是也没有比它们更好的优点,只能在默认堆中分配;16位操作系统下利用它们分配内存。

    LocalAlloc和LocalFree

    在WindowsNT 内核里,和GlobalAlloc、GlobalFree是一样的。

     

    ·        一个例子

    默认情况下,New关键字是利用HeapAlloc在默认堆上建立对象。本文重载了类的New方法,使得类在自己的堆中存放,这样可以与外面的对象隔离,以免重要的数据结构被意外破坏。由于类中的成员变量是在堆中存放,因此不局限于线程堆栈的1M空间。

    C++程序如下:

    class AllocateInOtherHeap

    {

    public:

                AllocateInOtherHeap(void);

                ~AllocateInOtherHeap(void);

                voidoperator new(size_t size);

                static HANDLE heap;

             public:

                //类对象唯一所需的空间

                int iArray[1024*1024*10];

                AllocateInOtherHeap::AllocateInOtherHeap(void)

    {

                cout<<"AllocateInOtherHeap()"<<endl;

                //如果New函数没有分配够空间,那么此处会出现访问违规

                memset(iArray,0,sizeof(AllocateInOtherHeap));

                iArray[1024]=8;

    }

    void* AllocateInOtherHeap::operator new(size_t size)

    {        

                if(heap==NULL)

    heap=HeapCreate(HEAP_NO_SERIALIZE|HEAP_GENERATE_EXCEPTIONS,1024*1024*10,0);

                //分配足够这个类对象的空间

                void* p=HeapAlloc(heap,0,sizeof(AllocateInOtherHeap));

                cout<<"堆的大小="<<HeapSize(heap,0,p)<<endl;

                printf("AllocateInOtherHeap堆地址=%x\n",heap);

                printf("AllocateInOtherHeap返回地址=%x\n",p);

                return p;

    }

    AllocateInOtherHeap::~AllocateInOtherHeap(void)

    {

                cout<<"~AllocateInOtherHeap"<<endl;

    }

    void AllocateInOtherHeap::operator delete(void* p)

    {        

                HeapFree(heap,0,p);

                HeapDestroy(heap);

                cout<<"delete()"<<endl;         

    }

    };

    结果如下:

    wps_clip_image-30580

    可见,new函数先分配够空间,然后才能初始化对象变量;而delete函数得先做析构,才能释放空间。对象保存在堆外,因为大于512K;对象大小刚好是iArray变量的大小。

    注意,如果没有分配足够的空间,虽然你可以得到对象指针,但是你访问数据时可能会出现访问违规,如果没出现,那更惨,意味着你读写了别人的数据。

     

     (六):堆栈

    6.      内存管理机制--堆栈 (Stack)

    ·        使用场合

    操作系统为每个线程都建立一个默认堆栈,大小为1M。这个堆栈是供函数调用时使用,线程内函数里的各种静态变量都是从这个默认堆栈里分配的。

    ·        堆栈结构

    默认1M的线程堆栈空间的结构举例如下,其中,基地址为0x0004 0000,刚开始时,CPU的堆栈指针寄存器保存的是栈顶的第一个页面地址0x0013 F000。第二页面为保护页面。这两页是已经分配物理存储器的可用页面。

    随着函数的调用,系统将需要更多的页面,假设需要另外5页,则给这5页提交内存,删除原来页面的保护页面属性,最后一页赋予保护页面属性。

    当分配倒数第二页0x0004 1000时,系统不再将保护属性赋予它,相反,它会产生堆栈溢出异常STATUS_STACK_OVERFLOW,如果程序没有处理它,则线程将退出。最后一页始终处于保留状态,也就是说可用堆栈数是没有1M的,之所以不用,是防止线程破坏栈底下面的内存(通过违规访问异常达到目的)。

    wps_clip_image-5233

    当程序的函数里分配了临时变量时,编译器把堆栈指针递减相应的页数目,堆栈指针始终都是一个页面的整数倍。所以,当编译器发现堆栈指针位于保护页面之下时,会插入堆栈检查函数,改变堆栈指针及保护页面。这样,当程序运行时,就会分配物理内存,而不会出现访问违规。

    ·        使用例子

    改变堆栈默认大小:

    有两个方法,一是在CreateThread()时传一个参数进去改变;

    二是通过链接命令:

    #pragma comment(linker,"/STACK:102400000,1024000")

    第一个值是堆栈的保留空间,第二个值是堆栈开始时提交的物理内存大小。本文将堆栈改变为100M。

             堆栈溢出处理:

            如果出现堆栈异常不处理,则导致线程终止;如果你只做了一般处理,内 存

            结构已经处于破坏状态,因为已经没有保护页面,系统没有办法再抛出堆栈溢

            出异常,这样的话,当再次出现溢出时,会出现访问违规操作

            STATUS_ACCESS_VIOLATION,这是线程将被系统终止。解决办法是,恢复

           堆栈的保护页面。请看以下例子:

           C++程序如下:

    bool handle=true;

                static MEMORY_BASIC_INFORMATION mi;

                LPBYTE lpPage;

                //得到堆栈指针寄存器里的值

                _asm mov lpPage, esp;

                // 得到当前堆栈的一些信息

                VirtualQuery(lpPage, &mi, sizeof(mi));

                //输出堆栈指针

                printf("堆栈指针=%x\n",lpPage);

                // 这里是堆栈的提交大小

                printf("已用堆栈大小=%d\n",mi.RegionSize);

                printf("堆栈基址=%x\n",mi.AllocationBase);

                                      

                for(int i=0;i<2;i++)

                {

                            __try

                            {

                                        __try

                                        {

                                                    __try

                                                    {

                                                                cout<<"**************************"<<endl;

                            //如果是这样静态分配导致的堆栈异常,系统默认不抛出异常,捕获不到

                                                                //char a[1024*1024];

                                                    //动态分配栈空间,有系统调用Alloca实现,自动释放

                                                                Add(1000);

                                                                //系统可以捕获违规访问

                                                                int * p=(int*)0xC00000000;

                                                                *p=3;

                                                                cout<<"执行结束"<<endl;

                                                    }

                                                    __except(GetExceptionCode()==STATUS_ACCESS_VIOLATION ? EXCEPTION_EXECUTE_HANDLER : EXCEPTION_CONTINUE_SEARCH)

                                                    {

                                                                cout<<"Excpetion 1"<<endl;

                                                    }

                                        }

                                        __except(GetExceptionCode()==STATUS_STACK_OVERFLOW ? EXCEPTION_EXECUTE_HANDLER : EXCEPTION_CONTINUE_SEARCH)

                                        {

                                                    cout<<"Exception 2"<<endl;

                                                    if(handle)

                                                    {

                                                    //做堆栈破坏状态恢复

                                                                LPBYTE lpPage;

                                                                static SYSTEM_INFO si;

                                                                static MEMORY_BASIC_INFORMATION mi;

                                                                static DWORD dwOldProtect;

     

                                                                // 得到内存属性

                                                                GetSystemInfo(&si);

     

                                                                // 得到堆栈指针

                                                                _asm mov lpPage, esp;

                                                                // 查询堆栈信息

                                                                VirtualQuery(lpPage, &mi, sizeof(mi));

                                                                printf("坏堆栈指针=%x\n",lpPage);

                                                                // 得到堆栈指针对应的下一页基址

    lpPage = (LPBYTE)(mi.BaseAddress)-si.dwPageSize;

                                                                printf("已用堆栈大小=%d\n",mi.RegionSize);

                                                                printf("坏堆栈基址=%x\n",mi.AllocationBase);

                                                                //释放准保护页面的下面所有内存

                                                                if (!VirtualFree(mi.AllocationBase,

    (LPBYTE)lpPage - (LPBYTE)mi.AllocationBase,

                                                                            MEM_DECOMMIT))

                                                                {        

                                                                            exit(1);

                                                                }

                                                                // 改页面为保护页面

                                                                if (!VirtualProtect(lpPage, si.dwPageSize,

                                                                            PAGE_GUARD | PAGE_READWRITE,

                                                                            &dwOldProtect))

                                                                {

                                                                            exit(1);

                                                                }

                                                    }

                                                    printf("Exception handler %lX\n", _exception_code());

                                        }

                            }

                            __except(EXCEPTION_EXECUTE_HANDLER)

                            {

                                        cout<<"Default handler"<<endl;

                            }

                }

              

                cout<<"正常执行"<<endl;

                //分配空间,耗用堆栈

                char c[1024*800];

                printf("c[0]=%x\n",c);

                printf("c[1024*800]=%x\n",&c[1024*800-1]);

    }

     

    void ThreadStack::Add(unsigned long a)

    {

                //深递归,耗堆栈

                char b[1000];

                if(a==0)

                return;

                Add(a-1);

     

    }

     

    程序运行结果如下:

    wps_clip_image-10461

     

    可以看见,在执行递归前,堆栈已被用了800多K,这些是在编译时就静态决定了。它们不再占用进程空间,因为堆栈占用了默认的1M进程空间。分配是从栈顶到栈底的顺序。

    当第一次递归调用后,系统捕获到了它的溢出异常,然后堆栈指针自动恢复到原来的指针值,并且在异常处理里,更改了保护页面,确保第二次递归调用时不会出现访问违规而退出线程,但是,它仍然会导致堆栈溢出,需要动态的增加堆栈大小,本文没有对这个进行研究,但是试图通过分配另外内存区,改变堆栈指针,但是没有奏效。

    注意:在一个线程里,全局变量加上任何一个函数里的临时变量,如果超过堆栈大小,当调用这个函数时,都会出现堆栈溢出,这种溢出系统不会抛出堆栈溢出异常,而直接导致线程退出。

    对于函数1调用函数2,而函数n-1又调用函数n的嵌套调用,每层调用不算临时变量将损失240字节,所以默认线程最多有1024*(1024-2)/240=4360次调用。加上函数本身有变量,这个数目会大大减少。

    展开全文
  • 内存管理的具体实现

    2017-01-05 15:45:41
    程序与虚拟内存和物理内存的关系: 结构mm_struct可以看成属于一个程序的包括虚拟内存和物理内存的所有内存的控制块;vm_area_struct里有指向相关段虚拟地址的指针vm_end and vm_start和指向操作函数集中的函数指针...

    程序与虚拟内存和物理内存的关系:

    这里写图片描述
    结构mm_struct可以看成属于一个程序的包括虚拟内存和物理内存的所有内存的控制块;vm_area_struct里有指向相关段虚拟地址的指针vm_end and vm_start和指向操作函数集中的函数指针vm_opst;mm_struct里有指向实际物理空间的指针pgd。

    Linux的空间分配:

    这里写图片描述
    Linux以PAGE_OFFSET为界将4GB的虚拟内存空间分成了两部分:地址0~3G这段低地址空间为用户空间,大小为3GB;地址3G-4G这一段高地址空间为内核空间,大小为1GB。

    内核空间是所有程序共享的,程序的虚拟用户空间是程序私有的。

    Linux的进程状态:

    这里写图片描述

    Linux有两类状态:一类是用户进程、一类是内核进程
    ①用户进程即可以在用户空间运行、也可以在内核空间运行
    ②内核进程只可以在内核空间运行

    就绪状态:进程已被挂入运行队列,处于准备运行状态,一旦获得处理器使用权,即可进入运行状态;
    可中断等待状态:进程未获得申请的资源而处于等待状态,一旦资源有效或者有唤醒信号就会进入就绪状态;
    不可中断等待状态:进程未获得申请的资源而处于等待状态,一旦资源有效就会进入就绪状态,但是不能被唤醒信号所唤醒;
    停止状态:收到SIGSTOP信号后,由运行状态进入停止状态;收到SINCONT信号时,进入就绪状态;
    终止状态:进程由于某种原因而终止运行,系统对他不再理睬仅仅保留其进程控制块,这种状态也叫“僵死”状态;

    Linux的经常控制块:

    Linux可以管理512个进程,每个进程控制块task_struct的指针都存放在一个数组中;
    task_struct中pid代表进程的pid,也就是当前进程的ID号

    Linux进程的创建:
    Linux中除了系统启动之后创建的第一个进程[根进程]不是由已存在的进程创建,其余的进程必须由已经存在的进程来创建,新创建的进程叫做子进程,而创建子进程的进程叫做父进程

    函数fork()
    创建一个子进程的系统调用叫做fork(),调用函数fork()的进程就是父进程,以附件为控制块的进程就是子进程。子进程共享父进程的程序代码,有自己的数据区和栈区、系统堆栈区。

    调用fork()后的代码会被执行两次,但是对自己的数据区、堆栈区中变量的修改互不影响;fork()函数的返回值有-1、0、正整数,“-1”代表创建失败,“0”代表当前进程为子进程,“正整数”代表当前进程为父进程同时其也是子进程的ID号。

    getpid():获得当前进程的ID
    getppid():获得当前父进程的ID

    /*父进程a创建子进程b、c的代码示例*/
    #include <stdio.h>
    #include <sys/types.h>
    int main()
    {
        pid_t p1,p2;
        p1 = fork();
        if(p1 < 0)
            printf("error in fork !\n");
        else if(p1 == 0)
            printf("child process b \n");
        else
        {
            p2 = fork();
            if(p2 < 0)
                printf("error in fork!\n");
            else if(p2 == 0)
                printf("child process c\n");
            else
                printf("parent process a\n");
        }
        return 0;
    }
    /*如果运行程序,会发现进程的运行顺序有调度器决定,与进程的创建顺序无关*/

    函数execu(const char *path,cahr *const argv[])
    子进程调用execu()后,系统会立即为子进程加载执行文件分配私有内存空间。调用execu()前,进程有自己的堆栈和数据区,但是没有自己的程序执行空间;调用execu()后除了有自己的堆栈和数据区,也分配了程序执行空间。

    子进程调用fork(),再调用execu()函数后,子进程和父进程不再共享任何系统资源,父进程和子进程唯一存留的关系是父进程有回收子进程的责任。

    /*父进程调用fork()创建子进程,子进程调用execu()执行可执行文件*/
    Hello.c文件:
    #include <stdio.h>
    #include <sys/types.h>
    int main()
    {
        printf("Hello!\n");
        return 0;
    }
    
    创建子进程的代码文件:
    #include <stdio.h>
    #include <sys/types.h>
    int main()
    {
        pid_t pid;
        if(!(pid = fork()))
        {
            execu("./Hello.o",NULL);
        }
        else
        {
            printf("my pid is %d\n",getpid());
        }
        return 0;
    }

    wait()函数
    按照计算机技术中谁创建谁负责的惯例,在处理父进程与子进程的关系上,那就是等待某个子进程已经退出的信息;如果父进程得到这个信息,父进程就会在处理子进程的“后事”之后才会继续执行。

    创建子进程的代码文件:
    #include <stdio.h>
    #include <sys/types.h>
    int main()
    {
        pid_t pid;
        if(!(pid = fork()))
        {
            execu("./Hello.o",NULL);
            printf("pid %d:I am back,something is wrong!\n",getppid());
        }
        else
        {
            printf("my pid is %d\n",getpid());
            wait4(pid,NULL,0,NULL);
            for(int i=0;i<10;i++)
            {
                printf("done\n");
            }
        }
        return 0;
    }

    这里写图片描述

    系统调用vfork()
    与fork()不同的是vfork()有自己的程序代码,但是没有自己的数据区和栈区,fork()、vfork()创建的子进程都有自己的系统堆栈区;以上的特性导致调用vfork()之后的代码也会被执行两次,但对数据区和栈区里变量的修改会互相影响,因为子进程在调用execu()函数之前,与父进程使用同一个数据区和用户堆栈[栈区].同样也是重要的是,vfork()创建的子进程一定先于父进程运行。

    Linux进程的时间片与权重参数

    所有进程时间片的总和为一个调度周期,当未被阻塞的进程片都耗尽时,一个调度周期结束,然后由调度器重新分配时间片,开始下一个调度周期。

    时间片的初值存放在counter中,counter反应进程时间片的剩余情况,处理器根据counter值大的优先运行。但是在实际问题中,系统真正用来确定进程的优先权时,使用的依据为权重参数weight,weight大者进程优先运行。

    weight 正比 [counter + (20 - nice)]

    调度策略:
    每个进程的进程控制块中都有一个域policy来指明进程为何种进程,采用何种策略,SCHED_OTHER说明进程为普通进程,采用普通进程的调度策略。

    #if HZ < 200
    #define TICK_SCALE(x) ((x) >> 2)
    #define NICE_TO_TICKS(nice) (TICK_SCALE(20 - (nice)) + 1)
    p->count = (p->counter >> 1) + NICE_TO_TICKS(p->nice);
    
    /*
    如果用户在文件include/asm-i386/param.h中定义的HZ为100,counter、nice的默认值为0,于是计算结果counter的值为6ticks,即进程片的默认值大小约为60ms。 10100 >> 2 ---> 101 ---> 5 ,5+1等于6。
    */

    为实时进程赋值一个远大于普通进程的固定权重参数weight,以确保实时进程的优先权

    weight 正比 [counter + (20 - nice)],这个表达式也体现出进程调度的公平性,上一个调度结束时还处于阻塞状态的进程,在这一次调度中counter的值会加上上一次剩余值的一半,使其获得更高的权重weigth。

    Linux文件系统
    磁盘上管理文件的文件、数据结构和操作构成了磁盘文件系统,简称文件系统。

    文件的存储
    通常一个文件需要占用多个存储快,存储快约为1KB

    目录项记录文件的名称、存储位置等信息,一个记录叫做目录项
    目录是目录项的集合,目录文件是目录的集合

    目录文件是系统自用文件,也叫做特殊文件,用户文件叫做普通文件。

    文件块的索引组织方式
    这里写图片描述
    以文件块的逻辑顺序号为数组元素的下标
    以文件存储块的指针为数组元素的内容
    这就形成了一个文件的索引表

    索引表就是文件块的逻辑块号与存储块号的对照表

    空闲块的记录:
    位图管理方式:以数据的一个二进制位表示对应块的空闲状态,0表示未占用、1表示占用;
    链表管理方式:把所有存储块用链表链接起来;
    分组链表方式:链表再链接成一个链表;

    位图管理方式简单,分组链表方式能够迅速的找到大量的空闲的存储块。

    文件目录:
    这里写图片描述
    把一个文件的所有信息都放在一个目录项中叫做一体化目录

    这里写图片描述
    分立式目录一部分只记录文件名等用户关系的逻辑信息[逻辑目录],另一部分则只记录文件所占用的存储块数目、位置等物理信息[文件索引结点]。

    记录逻辑目录的文件叫做逻辑目录文件
    记录文件索引节点的文件叫做设备文件

    多个逻辑目录文件的目录项可以对应多个设备文件的文件索引节点

    为了记录一个文件有多少个引用,在设备目录中有一个引用计数的项

    Ext2文件系统:
    在Linux文件include/linux/ext2_fs.h中定义了文件索引节点结构ext2_inode:

    struct ext2_inode{
    _le16 i _mode //文件模式
    _le32 i_block[15] //文件索引表
    };
    这里写图片描述
    文件索引表的一个元素的大小为32位,即4个字节,若Ext2块大小为1KB,则有256个数据项,那么Ext2的最大容量:
    1KB * 12 + 256 * 256 KB + 256 * 256 * 256KB = 16.842020GB。

    虚拟文件系统:
    虚拟文件系统的目的就是不让用户与实际的文件系统见面,使用户面对一个具有统一界面的文件系统,隐藏实际文件系统的操作细节。

    文件与进程的关联:
    这里写图片描述

    管道:

    int pipe(int fildes[2]);
    

    这里写图片描述
    匿名管道是在具有公共祖父的进程之间进行通信的手段。

    pipe()就是创建一个内存文件,在参数中返回这个文件的两个描述符fildes[0]、fildes[1]。fildes[0]是一个具有”只读“属性的文件描述符,fildes[1]是一个具有”只写“属性的文件描述符。使得文件像一个只能单向流通的管道一样,一头专门用来输入数据,另一头专门用来输出数据。

    #include <stdio.h>
    #include <string.h>
    #include <wait.h>
    #include <unistd.h>
    #define MAX_LINE 80
    int main()
    {
        int testPipe[2],ret;
        char buf[MAX_LINE + 1];
        const char * testbuf = {"主进程发送的数据."};
        if(pipe(testPipe) == 0)   //0 正常, -1 不正常
        {
            if(fork() == 0)//子进程fork返回0
            {
                ret = read(testPipe[0],buf,MAX_LINE);//只读
                buf[ret] = 0;
                printf("子进程读到的数据为:%s\n",buf);
                clase(testPipe[0]);
            }
            else
            {
                ret = read(testPipe[1],testbuf,strlen(testbuf));//只写
                ret = wait(NULL);
                clase(testPipe[1]);
            }
        }
        return 0;
    }
    展开全文
  • 内存管理出现的前景:当初在操作系统出现以前,成不并不需要加载到内存上运行,程序存放在卡片上,计算机每读一张卡片,就运行一条指令,程序直接从卡片到执行。但是这种做法效率极低,且灵活性很差。因此人们发明了...
  • 操作系统-内存管理

    2019-11-25 13:34:03
    文章目录一、内存管理1.1 内存的基础知识1.1.1 什么是内存,有何作用1.1.2 进程运行的原理-指令1.1.3 逻辑地址VS物理地址1.1.4 进程运行的基本原理(从写程序到程序运行)1.1.5 装入内存的三种方式1.1.5 链接的三种...
  • 内存管理我的理解是分为两个部分,一个是物理内存的管理,另一个部分是物理内存地址到虚拟地址的转换。 物理内存管理 内核中实现了很多机制和算法来进行物理内存的管理,比如大名鼎鼎的伙伴系统,以及slab分配器等等...
  • 摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。力求从外到内、水到渠成地引导网友分析Linux的内存管理与使用。在本章最后,...
  • 为了便于内存的分配和释放,AWorks提供了两种内存管理工具:堆和内存池。 本文为《面向AWorks框架和接口的编程(上)》第三部分软件篇——第9章内存管理——第1~2小节:堆管理器和内存池。 本章导...
  • 这是Linux内存管理的一个优秀特性,在这方面,区别于 Windows的内存管理。主要特点是,无论物理内存有多大,Linux都将其充份利用,将一些程序调用过的硬盘数据读入内存,利用内存读写的高速特性来提高Linux系统的...
  • 很多工程师碰到一个共性的问题:Linux工程师很多,甚至有很多有多年工作经验,但是对一些Linux内存管理和linux进程管理关键概念的理解非常模糊,比如不理解CPU、内存资源等的真正分布,具体的工作机制,这使得他们对...
  • 内存管理对应用程序和操作系统来说都非常重要。现在很多的程序漏洞和运行崩溃都和内存分配使用错误有关。 FreeRTOS操作系统将内核与内存管理分开实现,操作系统内核仅规定了必要的内存管理函数原型,而不关心这些...
  • 一、内存分配概述  redis 的内存分配,实质上是对 tcmalloc / jemalloc 的封装。内存分配本质就是给定需要分配的大小,以字节为单位,然后返回一个指向一段分配好的连续的内存空间的首指针。  通过这个首指针,...
  • Java应用程序是运行在JVM上的,得益于JVM的内存管理和垃圾收集机制,开发人员的效率得到了显著提升,也不容易出现内存溢出和泄漏问题。但正是因为开发人员把内存的控制权交给了JVM,一旦出现内存方面的问题,如果不...
  • C++模拟动态内存管理

    2019-03-18 18:53:34
    使用链表对进程进行存储,每个节点记录、 下一个进程的占用内存的大小 起始地址 执行时间 下一个进程的地址 随机生成进程(空间大小、执行时间) ...* title :C++模拟动态内存管理 * author ...
  • 每日英语,每天进步一点点 前言 之前有不少读者跟我反馈,能不能写图解操作系统? 既然那么多读者想看,我最近就在疯狂的复习操作系统的知识。 操作系统确实是比较难啃的一门...本篇跟大家说说内存管理内存管理还是
  • Android内存管理机制

    2015-08-01 19:08:13
    解读 Andriod 内存管理机制 一、进程类型 1、前台进程(foreground):目前正在屏幕上显示的进程和一些系统进程。举例来说, Dialer Storage,Google Search 等系统进程就是前台进程;再举例来说,当你运行一个...
  • java内存管理简介 首先我们要了解我们为什么要学习java虚拟机的内存管理,不是java的gc垃圾回收机制都帮我们释放了内存了吗?但是在写程序的过程中却也往往因为不懂内存管理而造成了一些不容易察觉到的内存问题,...
1 2 3 4 5 ... 20
收藏数 1,269,742
精华内容 507,896
热门标签
关键字:

内存管理