精华内容
下载资源
问答
  • 前一段时间查看资料得知内存管理的算法大致有两种:内存分配算法、内存页面置换算法,对这些算法虽然可能不需要实现,但是需要了解其中的概念原理,以备不时之需。 内存分配的算法主要有5种: 第一种是固定内存分配...

    在做C/C++编程的时候,最棘手处理的大概就是内存操作了。

    前一段时间查看资料得知内存管理的算法大致有两种:内存分配算法、内存页面置换算法,对这些算法虽然可能不需要实现,但是需要了解其中的概念原理,以备不时之需。

    内存分配的算法主要有5种:

    第一种是固定内存分配,也叫位图分配算法:

                固定内存分配,从其字面意思就可以看出来,分配的内存是固定的。比如1GB的内存可用于分配,每个分配的内存块的大小为1M,那么整个就有1024个内存块可用于分配,最多可分配1024次。然后每个分配单元对应于位图中的一位,0表示空闲,1表示占用。


    第二种是使用链表分配内存:

              固定内存分配的方法虽然分配简单,易于管理内存,但是它造成了很多不必要的浪费,比如需要1KB的空间还是给它分配1M的空间,其他都没有使用,这样浪费率达到了99.9%。为了解决这个问题,需要一种新的方式,就像在学数据结构的时候,数组存储的时候太大浪费,太小无法满足,寻找一种新的存储方法就是使用链表进行存储。这里也借鉴是这种的思想,需要维护一个已分配内存段和空闲内存段的链表,每个节点存储了空闲标志区、进程指示标志区、起始地址、空间大小、指向下一个地址的指针。然后动态进行存储区间的分区与释放回收合并,以下是链表分配内存的四种方法:

            1、首次自适应算法。这个算法每次分配的时候均从低位地址开始查询然后分配地址,这个算法的好处是高位地址被保留了下来,为执行大的内存分配创造条件,其劣势是每次都从低位地址开始往后查找,低位地址不停被划分,留下很多难以利用的小空间。

            2、循环首次适应算法。这个算法是从上次分配的地址开始分配内存。这种方式分配内存,内存空间更加均匀,可能会缺失大的空闲分区。

            3、最佳适应算法。这个算法会对空闲的分区进行一个排序,从中找出最优的空间分配给程序。这个算法每次分配完内存后剩余空间一定是最小的,这样的话就留下了许多难以被利用的碎片,而且每次分配内存前都得进行重新排序,这样也带来了一定的开销。

            4、最差适应算法。该算法对空间按递减进行排列,形成空间链表,分配内存的时候从第一个空闲分区开始分配,如果第一分区不能满足,则不能满足分配,第一个分区载入程序后还剩下很多空间可以继续为后面的程序分配。这样分配内存的方式可以明显的减少内存碎片,但是保留大空间的可能性减小。


    第三种是伙伴算法:

            链表的方法节省了很多空间,但是从链表分配内存的过程中可以看出,链表分配内存不可避免造成内存碎片。碎片是不可能消失的,我们能做的就是减少碎片,可以结合固定分配与链表分配,为此提出了伙伴算法,Linux内核管理中使用的就是这个算法。这个算法的基本思路就是将内存分成1,2,,4,8,16,32等等以2为幂指数的一系列的内存块,相同大小的内存块构成一个链表,然后再分配内存的时候,寻找大小最接近所要分配内存的2的幂的链表,从中找出一块空闲的区域分配给程序。释放内存的时候也是把相邻的空闲块合并为一块并插入上一级的链表中。

            为了说明这个算法的过程,我们这里做一个假设,设分割好的链表中每个是按照内存的页面来计算的,假设需要8个页面存储数据,到页面为8的链表中查找,如果有空余的块,则将此空余的分配给程序,如果没有空余的块则向上一级查找也就是16个页面的链表,看有没有空余的内存块,如果有则把一般用来存储数据,一半插入8的页面链表中,如果再16个页面链表中还是没有空闲的页面,则继续向上查找,在32个页面的链表中找到空闲的块,其中开始的8个用来存储数据,剩下24个,16个页面插入16个页面的链表中,剩下8个插入到8个页面的链表中,如果32个页面中还没找到则继续向上寻找,直到遍历完整个内存,如果已经没有空间了则返回错误信息。


    第四种算法是基于内存池的伙伴算法:

            伙伴算法可以解决内存碎片的一些问题,但是伙伴算法在执行的过程中频繁地进行分配与合并。这在一定程度上会影响内存分配效率,也会出现一定的碎片。为此我们可以这样做,在使用完内存后先不进行释放,只是标记当前的内存已经不再使用了,这样的话我们就可以建立起一个内存池,当内存池里所有的块都不在使用的时候,然后对内存池中的块进行合并释放。


    第五种算法是工作集算法:

          操作系统运行起来后,内存中分配的大小、配置比例关系都是相对固定的,变化不是很大。如果把这些数据记录下来,系统启动后预先分配好这些内存的话,可以极大地提高系统的启动速度,这些参数称之为工作集。这些工作集参数更多地是一种经验值,需要我们综合多方面的因素进行分析,反复比较才能获得很好的结果。


    下面看看内存页面置换算法:

             实际的操作系统中,我们分配的内存也只是虚拟的内存,也就是给的变量的地址是逻辑上的地址,需要通过MMU映射到物理内存上去,这里的映射算法叫做内存页面置换算法。由于物理内存有限,一个进程所有的逻辑页面并不是全都会被映射到实际的物理页面上去,只是为进程分配一定数量的物理页面,既然物理页面不够用,那么就要进行页面的置换了,一段时间把需要进入物理内存的逻辑页面放入内存,不需要在内存中的页面置换出来。常用到的算法有:

    第一种为最优页面置换算法(OPT):

             这只是一种理论上的算法,主要的思想是把将来使用次数最少的页面置换出去。

    第二种为最近未使用页面置换算法(NUR):

            为页面设置一个访问位,当某个页面被访问时,访问位设置为“1”,否则设置为“0”,当需要置换一页的时候,从被置为“0”的页面中选择出一个页面进行置换,操作系统会周期性的对方位为清零。

    第三种为最久未使用算法(LRU):

            当需要置换某个页面的时候,选择离当时时间最近的一段时间内最久没有使用过的页面置换。该算法假设某个页面被访问了,这个页面可能还需要被访问,或者某个页面很长一段时间都没有被访问,那么在最近的一段时间内也不会被访问。

    第四种算法为先进先出(FIFO):

             和队列一个样,先进入内存的页面最先被置换出去。我们需要在页表中记录进入的次序,将各个已经分配的页面按照分配的时间的先后链接起来,组成FIFO队列。这种算法实现起来快,但是遇到常用页面经常会碰到缺页的错误。

    第五种算法为第二次页面置换算法(SCR):

            为了避免FIFO可能把经常使用的页面给换出去,选择置换页面的时候,需要先检查它的访问位,如果是0,就立刻置换掉这个页面;如果访问位是1,则给它第二次机会选择下一个FIFO页面。当一个页面第二次被置换时,这期间如果被访问过了,则访问位置1,继续淘汰下一个,如果这期间没有被访问,则访问位就清零,如果一个页面经常使用则访问位就一直为1,不会被置换出去。

    第六种算法为时钟页面置换算法:

            这个也是对FIFO算法的改进,我们把所有的页面保存在类似于钟表面的环形链表中,指针指向最先进入队列的页面。当需要置换页面的时候,首先检查这个页面,如果访问位是0,则立刻置换掉这个页面,指针指向下一个页面,如果是访问位是1,则清零再移动到下一个位置,重复这个过程直到找到访问位为零的页面位置。为何叫时钟页面,从下面的图中可以直观地看出来,页面加一个指针就是很像一个钟表。



    以上就是内存管理算法。下面看下内存分配的一些函数。

    首先看下C语言中几个内存分配的函数:

    首先是用的最多的malloc函数,其函数的原型如下:

    void *malloc(size_t size);

    调用这个函数会size字节的内存空间,如果内存可以满足这个需求就返回指向分配的内存空间的首地址。

    void *calloc(size_t num_elements,size_t element_size);
    calloc也malloc的区别就是需要指定元素的数量,以及每个元素的字节数,而且在内存空间申请之后,初始化这段内存空间为0。

    void *realloc(void *ptr,size_t new_size);
    这个函数用来修改一块已经申请好的内存的大小,如果扩展内存则新扩展的部分添加到原来内存块儿的后面,如果缩小内存区域,则该内存块儿的后面部分被删除掉。如果函数的第一个参数为NULL,则这个函数和malloc的作用一样。

    上面提到的几个函数分配内存的时候都是在堆上进行分配的,使用完内存需要手动进行释放回收。利用下面的函数:

    void  free(void *ptr);
    传值给free函数的是NULL时候,不做任何处理,传值malloc、calloc、realloc函数的返回值,则释放这些空间。

    以上分配完内存需要释放的操作都是在堆上面进行的,下面看一个函数,也是分配内存,不过是在栈上进行的,所以它使用完的内存不需要进行手动释放,会自动释放:

    void *_cdecl alloca(size_t size);
    这个函数的调用方式与malloc相同,当时与malloc不同的是它在栈上进行内存的分配,使用后无需为释放空间而烦恼。但是有些机器不能增加栈的长度,不支持alloca函数。

    上面这些内存分配函数是通过调用底层的系统调用实现的,这些函数主要有以下几种:

    两个关于数据段函数:

    int brk(void *end_data_segment);
    void *sbrk(ptrdiff_t increament);
    第一个brk依据参数end_data_segment所指的数值设成进程数据段结束的地址。成功返回0,失败为-1.第二个sbrk增加程序的数据段的空间,增加的大小由increasment而定,成功返回的值是指向新的数据段末尾的指针,失败返回-1,这个函数其实是对brk()系统调用的封装,通过brk()实现。

    还有两个关于内存映射的函数,一个是内存映射,一个解除内存映射:

    void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
    int munmap(void *start, size_t length);
    这里我们看下mmap函数,*start用于指定需要申请空间的起始地址,length为申请的长度,如果起始的地址设为0,则Linux系统会自动挑选合适的起始地址,prot用来设置空间的读写权限位,设置为可读、可写、可执行,flag用来设置映射的类型(文件映射、匿名空间等),fd与offset用来设置文件映射时的文件句柄以及文件偏移。

    了解了这些系统调用,我们可以利用这几个系统调用来实现malloc函数,为了说明进程的分配状态还是看下进程的结构:


    进行内存分配的时候,默认的情况下,待分配的内存大小如果小于128KB(这个阈值可通过M_MMAP_THRESHOLD设置),则利用brk系统调用进行分配,我们要做的就是在堆区域往上扩展,如图中所示分配100k与80k的空间时,堆区指针heap_data往高位地址移动,如果分配的内存大小大于128KB,则直接从栈与堆之间的空闲区域分配一块区间给程序,如图中分配280K的空间时,这里利用mmap系统调用实现。下面是一个利用mmap实现内存分配malloc的函数:

    void *malloc(size_t nbytes)
    {
        void *ret=mmap(0,nbytes,PROT_READ|PROT_WRITE,MAP_PRIVATE|MAP_ANONYMOUS,0,0);
         if(ret==MAP_FAILED)
                  return 0;
          return ret;
    }
    释放内存的时候,如果是通过brk()系统调用申请的内存,如图中所示,要依次先释放80K的空间,然后再释放100K的空间,如果先释放100K的空间,则实际上并未进行释放,只有80K空间释放了才会释放,这期间如果有需要100K的空间,则系统会立刻使用这块区域。当堆顶连续空闲空间大于128K(通过M_TRIM_THRESHOLD调整,默认值为128K)时,就会调用brk()系统调用进行堆区指针的调整,释放出内存。







    展开全文
  •  malloc函数是C/C++中常用内存分配库函数,本篇文章将以Linux平台上的malloc为剖析对象,深入了解分配一块内存的旅程。 malloc入门  使用malloc,需要包含头文件 stdlib.h ,函数原型如下:  extern ...

        转载自: http://www.cnblogs.com/cherishui/p/4208858.html
        malloc函数是C/C++中常用内存分配库函数,本篇文章将以Linux平台上的malloc为剖析对象,深入了解分配一块内存的旅程。

    malloc入门

         使用malloc,需要包含头文件 stdlib.h ,函数原型如下:

          extern void *malloc(unsigned int num_bytes);

         功能: 分配长度为 num_bytes的内存块,如果分配成功,则返回指向被分配内存的指针,否则返回空指针NULL,否则发生的情况,一般为系统堆上可用的内存上无法找到一块长度大于num_bytes的连续内存空间。

         特别情况:如果num_bytes为0,malloc成功分配0字节的空间,返回一个有效指针,但无法使用此指针。

         当内存不再使用时,应使用free函数将内存块释放。

         返回值类型为void*,表示未确定类型的指针,它可以强制转换为任何其他类型的指针。

         

         extern  free(void *FirstByte);

         功能: 将之前malloc分配的空间还给操作系统,释放传入指针指向的那块内存区域,指针本身的数值没变,释放前,指向的内容是可理解的,释放后,指向的内容是垃圾内容。

         注意: 释放空指针,不会出错。释放同一个有效指针两次,会出错。释放后,最好把指向这块内存的指针指向NULL,防止后面的程序误用。

    malloc深入了解

         glibc库实现了malloc,它实现linux系统的堆管理。在Linux中,大部分的系统调用都是通过C库函数来体现了,因此glibc就显得尤为重要。glibc的实现策略和Windows的类似,都是维护一个全局链表,每个链表元素由不定长的内存块链表。

        与Windows不同的是,在glibc中,维护了多个不定长的内存块链表,每一个链表负责一个大小范围,这种做法有效减少了分配大内存时的遍历开销,类似于哈希的方式,将很大的范围的数据散列到有限的几个小的范围内而不是所有数据都放在一起,虽然最终还是要在小的范围内查找,但是最起码省去了很多的开销,如果只有一个不定长链表那么就要全部遍历,如果分成3个,就省去了2/3的开销,总之这个策略十分类似于散列。glibc另外的策略就是不止维护一类空闲链表,而是另外再维护一个缓冲链表和一个高速缓冲链表,在分配的时候首先在高速缓存中查找,失败之后再在空闲链表查找,如果找到的内存块比较大,那么将切割之后的剩余内存块插入到缓存链表,如果空闲链表查找失败那么就往缓存链表中查找. 如果还是没有合适的空闲块,就向内存申请比请求数更大的内存块,然后把剩下的内存放入链表中。这种方式是glibc自己实现的策略。

         malloc函数,它内部有一个将多个可用内存块连接为一个空闲链表。在调用时,它沿链表寻找一个大到足以满足用户请求所需要的内存块。然后,将该内存块一分为二(一块的大小与用户请求的大小相等,另一块的大小就是剩下的字节)。接下来,将分配给用户的那块内存传给用户,并将剩下的那块(如果有的话)返回到链接表上。

         调用free函数时,它将用户释放的内存块回收到空闲链表。到最后,空闲链会被切成很多的小内存片段,如果这时用户申请一个大的内存片段,那么空闲链上可能没有可以满足用户要求的片段了。于是,malloc函数请求延时,并开始在空闲链上翻箱倒柜地检查各内存片段,对它们进行整理,将相邻的小空闲块合并成较大的内存块。

    《UNIX环境高级编程》第七章:

    image

      从glibc中malloc的详细解释一文中知道:

      image

      在glibc的malloc实现中,分配虚存有两种系统调用可用,brk和mmap2,根据默认门限值来决定具体调用哪个进行分配。

    image 

    image

    malloc返回的每块内存的起始处首先要有这个结构:

    内存控制块结构定义 
    struct mem_control_block { 
         int is_available; 
         int size; 
    };

    free函数比较简单,给出来。

    复制代码
    4. 解除分配函数 free
    void free(void *firstbyte) {
         struct mem_control_block *mcb;
    /* Backup from the given pointer to find the
      * mem_control_block
      */
        mcb = firstbyte - sizeof(struct mem_control_block);
    /* Mark the block as being available */
       mcb->is_available = 1;
    /* That''s It!  We''re done. */
       return;
     }
    复制代码

        free函数中的第二句话,将传入指针倒回去内存控制块的大小,然后将该块中的is_available设置为1,将此空间标记为空闲空间,至于后续的回收整理,应该是操作系统和glibc内存管理模块来整理。从实现上看,释放的传入只能是分配内存块的首地址,而不能是中间的某个地址。

        从上述的free代码中来看,执行free函数后,堆上对应已分配内存已经标记为可用,但是这个可用内存空间经过多久才能被用户再次使用,这就取决于OS的内存管理策略,在还没将此块空间回收整理到空闲链表前,这块空间对用户来说,是不可用的。


    作者:
    浩天之家

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.
    展开全文
  • 关于linux 内存分配

    千次阅读 2016-09-08 15:52:45
    Linux内存管理 摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。力求从外到内、水到渠成地引导网友分析Linux的内存管理与...

    Linux内存管理

    摘要:本章首先以应用程序开发者的角度审视Linux的进程内存管理,在此基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。力求从外到内、水到渠成地引导网友分析Linux的内存管理与使用。在本章最后,我们给出一个内存映射的实例,帮助网友们理解内核内存管理与用户内存管理之间的关系,希望大家最终能驾驭Linux内存管理。

    前言

    内存管理一向是所有操作系统书籍不惜笔墨重点讨论的内容,无论市面上或是网上都充斥着大量涉及内存管理的教材和资料。因此,我们这里所要写的Linux内存管理采取避重就轻的策略,从理论层面就不去班门弄斧,贻笑大方了。我们最想做的和可能做到的是从开发者的角度谈谈对内存管理的理解,最终目的是把我们在内核开发中使用内存的经验和对Linux内存管理的认识与大家共享。

    当然,这其中我们也会涉及到一些诸如段页等内存管理的基本理论,但我们的目的不是为了强调理论,而是为了指导理解开发中的实践,所以仅仅点到为止,不做深究。

    遵循“理论来源于实践”的“教条”,我们先不必一下子就钻入内核里去看系统内 存到底是如何管理,那样往往会让你陷入似懂非懂的窘境(我当年就犯了这个错误!)。所以最好的方式是先从外部(用户编程范畴)来观察进程如何使用内存,等 到大家对内存的使用有了较直观的认识后,再深入到内核中去学习内存如何被管理等理论知识。最后再通过一个实例编程将所讲内容融会贯通。

    进程与内存

    进程如何使用内存?

    毫无疑问,所有进程(执行的程序)都必须占用一定数量的内存,它或是用来存放从磁盘载入的程序代码,或是存放取自用户输入的数据等等。不过进程对这些内存的管理方式因内存用途不一而不尽相同,有些内存是事先静态分配和统一回收的,而有些却是按需要动态分配和回收的。

    对任何一个普通进程来讲,它都会涉及到5种不同的数据段。稍有编程知识的朋友都能想到这几个数据段中包含有“程序代码段”、“程序数据段”、“程序堆栈段”等。不错,这几种数据段都在其中,但除了以上几种数据段之外,进程还另外包含两种数据段。下面我们来简单归纳一下进程对应的内存空间中所包含的5种不同的数据区。

    代码段:代码段是用来存放可执行文件的操作指令,也就是说是它是可执行程序在内存中的镜像。代码段需要防止在运行时被非法修改,所以只准许读取操作,而不允许写入(修改)操作——它是不可写的。

    数据段:数据段用来存放可执行文件中已初始化全局变量,换句话说就是存放程序静态分配[1]的变量和全局变量。

    BSS段[2]:BSS段包含了程序中未初始化的全局变量,在内存中 bss段全部置零。

    堆(heap):堆是用于存放进程运行中被动态分配的内存段,它的大小并不固定,可动态扩张或缩减。当进程调用malloc等函数分配内存时,新分配的内存就被动态添加到堆上(堆被扩张);当利用free等函数释放内存时,被释放的内存从堆中被剔除(堆被缩减)

    :栈是用户存放程序临时创建的局部变量,也就是说我们函数括弧“{}”中定义的变量(但不包括static声明的变量,static意味着在数据段中存放变量)。除此以外,在函数被调用时,其参数也会被压入发起调用的进程栈中,并且待到调用结束后,函数的返回值也会被存放回栈中。由于栈的先进先出特点,所以栈特别方便用来保存/恢复调用现场。从这个意义上讲,我们可以把堆栈看成一个寄存、交换临时数据的内存区。

    进程如何组织这些区域?

    上述几种内存区域中数据段、BSS和堆通常是被连续存储的——内存位置上是连续的,而代码段和栈往往会被独立存放。有趣的是,堆和栈两个区域关系很“暧昧”,他们一个向下“长”(i386体系结构中栈向下、堆向上),一个向上“长”,相对而生。但你不必担心他们会碰头,因为他们之间间隔很大(到底大到多少,你可以从下面的例子程序计算一下),绝少有机会能碰到一起。

    下图简要描述了进程内存区域的分布:

    “事实胜于雄辩”,我们用一个小例子(原形取自《User-Level Memory Management》)来展示上面所讲的各种内存区的差别与位置。

    #include<stdio.h>

    #include<malloc.h>

    #include<unistd.h>

    int bss_var;

    int data_var0=1;

    int main(int argc,char **argv)

    {

      printf("below are addresses of types of process's mem\n");

      printf("Text location:\n");

      printf("\tAddress of main(Code Segment):%p\n",main);

      printf("____________________________\n");

      int stack_var0=2;

      printf("Stack Location:\n");

      printf("\tInitial end of stack:%p\n",&stack_var0);

      int stack_var1=3;

      printf("\tnew end of stack:%p\n",&stack_var1);

      printf("____________________________\n");

      printf("Data Location:\n");

      printf("\tAddress of data_var(Data Segment):%p\n",&data_var0);

      static int data_var1=4;

      printf("\tNew end of data_var(Data Segment):%p\n",&data_var1);

      printf("____________________________\n");

      printf("BSS Location:\n");

      printf("\tAddress of bss_var:%p\n",&bss_var);

      printf("____________________________\n");

      char *b = sbrk((ptrdiff_t)0);

      printf("Heap Location:\n");

      printf("\tInitial end of heap:%p\n",b);

      brk(b+4);

      b=sbrk((ptrdiff_t)0);

      printf("\tNew end of heap:%p\n",b);

    return 0;

     }

    它的结果如下

    below are addresses of types of process's mem

    Text location:

       Address of main(Code Segment):0x8048388

    ____________________________

    Stack Location:

       Initial end of stack:0xbffffab4

       new end of stack:0xbffffab0

    ____________________________

    Data Location:

       Address of data_var(Data Segment):0x8049758

       New end of data_var(Data Segment):0x804975c

    ____________________________

    BSS Location:

       Address of bss_var:0x8049864

    ____________________________

    Heap Location:

       Initial end of heap:0x8049868

       New end of heap:0x804986c

    利用size命令也可以看到程序的各段大小,比如执行size example会得到

    text data bss dec hex filename

    1654 280   8 1942 796 example

    但这些数据是程序编译的静态统计,而上面显示的是进程运行时的动态值,但两者是对应的。

    通过前面的例子,我们对进程使用的逻辑内存分布已先睹为快。这部分我们就继续进入操作系统内核看看,进程对内存具体是如何进行分配和管理的。

    从用户向内核看,所使用的内存表象形式会依次经历“逻辑地址”——“线性地址”——“物理地址”几种形式(关于几种地址的解释在前面已经讲述了)。逻辑地址经段机制转化成线性地址;线性地址又经过页机制转化为物理地址。(但是我们要知道Linux系统虽然保留了段机制,但是将所有程序的段地址都定死为0-4G,所以虽然逻辑地址和线性地址是两种不同的地址空间,但在Linux中逻辑地址就等于线性地址,它们的值是一样的)。沿着这条线索,我们所研究的主要问题也就集中在下面几个问题。

    1.     进程空间地址如何管理?

    2.     进程地址如何映射到物理内存?

    3.     物理内存如何被管理?

    以及由上述问题引发的一些子问题。如系统虚拟地址分布;内存分配接口;连续内存分配与非连续内存分配等。

     

    进程内存空间

    Linux操作系统采用虚拟内存管理技术,使得每个进程都有各自互不干涉的进程地址空间。该空间是块大小为4G的线性虚拟空间,用户所看到和接触到的都是该虚拟地址,无法看到实际的物理内存地址。利用这种虚拟地址不但能起到保护操作系统的效果(用户不能直接访问物理内存),而且更重要的是,用户程序可使用比实际物理内存更大的地址空间(具体的原因请看硬件基础部分)。

    在讨论进程空间细节前,这里先要澄清下面几个问题:

    l         第一、4G的进程地址空间被人为的分为两个部分——用户空间与内核空间。用户空间从0到3G(0xC0000000),内核空间占据3G到4G。用户进程通常情况下只能访问用户空间的虚拟地址,不能访问内核空间虚拟地址。只有用户进程进行系统调用(代表用户进程在内核态执行)等时刻可以访问到内核空间。

    l         第二、用户空间对应进程,所以每当进程切换,用户空间就会跟着变化;而内核空间是由内核负责映射,它并不会跟着进程改变,是固定的。内核空间地址有自己对应的页表(init_mm.pgd),用户进程各自有不同的页表。

    l         第三、每个进程的用户空间都是完全独立、互不相干的。不信的话,你可以把上面的程序同时运行10次(当然为了同时运行,让它们在返回前一同睡眠100秒吧),你会看到10个进程占用的线性地址一模一样。

     

    进程内存管理

    进程内存管理的对象是进程线性地址空间上的内存镜像,这些内存镜像其实就是进程使用的虚拟内存区域(memory region)。进程虚拟空间是个32或64位的“平坦”(独立的连续区间)地址空间(空间的具体大小取决于体系结构)。要统一管理这么大的平坦空间可绝非易事,为了方便管理,虚拟空间被划分为许多大小可变的(但必须是4096的倍数)内存区域,这些区域在进程线性地址中像停车位一样有序排列。这些区域的划分原则是“将访问属性一致的地址空间存放在一起”,所谓访问属性在这里无非指的是“可读、可写、可执行等”。

    如果你要查看某个进程占用的内存区域,可以使用命令cat /proc/<pid>/maps获得(pid是进程号,你可以运行上面我们给出的例子——./example &;pid便会打印到屏幕),你可以发现很多类似于下面的数字信息。

    由于程序example使用了动态库,所以除了example本身使用的的内存区域外,还会包含那些动态库使用的内存区域(区域顺序是:代码段、数据段、bss段)。

    我们下面只抽出和example有关的信息,除了前两行代表的代码段和数据段外,最后一行是进程使用的栈空间。

    -------------------------------------------------------------------------------

    08048000 - 08049000 r-xp 00000000 03:03 439029                               /home/mm/src/example

    08049000 - 0804a000 rw-p 00000000 03:03 439029                               /home/mm/src/example

    ……………

    bfffe000 - c0000000 rwxp ffff000 00:00 0

    ----------------------------------------------------------------------------------------------------------------------

    每行数据格式如下:

    (内存区域)开始-结束 访问权限  偏移  主设备号:次设备号 i节点  文件。

    注意,你一定会发现进程空间只包含三个内存区域,似乎没有上面所提到的堆、bss等,其实并非如此,程序内存段和进程地址空间中的内存区域是种模糊对应,也就是说,堆、bss、数据段(初始化过的)都在进程空间中由数据段内存区域表示。

    在Linux内核中对应进程内存区域的数据结构是: vm_area_struct, 内核将每个内存区域作为一个单独的内存对象管理,相应的操作也都一致。采用面向对象方法使VMA结构体可以代表多种类型的内存区域--比如内存映射文件或进程的用户空间栈等,对这些区域的操作也都不尽相同。

    vm_area_strcut结构比较复杂,关于它的详细结构请参阅相关资料。我们这里只对它的组织方法做一点补充说明。vm_area_struct是描述进程地址空间的基本管理单元,对于一个进程来说往往需要多个内存区域来描述它的虚拟空间,如何关联这些不同的内存区域呢?大家可能都会想到使用链表,的确vm_area_struct结 构确实是以链表形式链接,不过为了方便查找,内核又以红黑树(以前的内核使用平衡树)的形式组织内存区域,以便降低搜索耗时。并存的两种组织形式,并非冗 余:链表用于需要遍历全部节点的时候用,而红黑树适用于在地址空间中定位特定内存区域的时候。内核为了内存区域上的各种不同操作都能获得高性能,所以同时 使用了这两种数据结构。

    下图反映了进程地址空间的管理模型:

    进程的地址空间对应的描述结构是“内存描述符结构”,它表示进程的全部地址空间,——包含了和进程地址空间有关的全部信息,其中当然包含进程的内存区域。

    进程内存的分配与回收

    创建进程fork()、程序载入execve()、映射文件mmap()、动态内存分配malloc()/brk()等进程相关操作都需要分配内存给进程。不过这时进程申请和获得的还不是实际内存,而是虚拟内存,准确的说是“内存区域”。进程对内存区域的分配最终都会归结到do_mmap()函数上来(brk调用被单独以系统调用实现,不用do_mmap()),

    内核使用do_mmap()函数创建一个新的线性地址区间。但是说该函数创建了一个新VMA并不非常准确,因为如果创建的地址区间和一个已经存在的地址区间相邻,并且它们具有相同的访问权限的话,那么两个区间将合并为一个。如果不能合并,那么就确实需要创建一个新的VMA了。但无论哪种情况, do_mmap()函数都会将一个地址区间加入到进程的地址空间中--无论是扩展已存在的内存区域还是创建一个新的区域。

    同样,释放一个内存区域应使用函数do_ummap(),它会销毁对应的内存区域。

    如何由虚变实!

        从上面已经看到进程所能直接操作的地址都为虚拟地址。当进程需要内存时,从内核获得的仅仅是虚拟的内存区域,而不是实际的物理地址,进程并没有获得物理内存(物理页面——页的概念请大家参考硬件基础一章),获得的仅仅是对一个新的线性地址区间的使用权。实际的物理内存只有当进程真的去访问新获取的虚拟地址时,才会由“请求页机制”产生“缺页”异常,从而进入分配实际页面的例程。

    该异常是虚拟内存机制赖以存在的基本保证——它会告诉内核去真正为进程分配物理页,并建立对应的页表,这之后虚拟地址才实实在在地映射到了系统的物理内存上。(当然,如果页被换出到磁盘,也会产生缺页异常,不过这时不用再建立页表了)

    这种请求页机制把页面的分配推迟到不能再推迟为止,并不急于把所有的事情都一次做完(这种思想有点像设计模式中的代理模式(proxy))。之所以能这么做是利用了内存访问的“局部性原理”,请求页带来的好处是节约了空闲内存,提高了系统的吞吐率。要想更清楚地了解请求页机制,可以看看《深入理解linux内核》一书。

    这里我们需要说明在内存区域结构上的nopage操作。当访问的进程虚拟内存并未真正分配页面时,该操作便被调用来分配实际的物理页,并为该页建立页表项。在最后的例子中我们会演示如何使用该方法。

     

     

    系统物理内存管理 

    虽 然应用程序操作的对象是映射到物理内存之上的虚拟内存,但是处理器直接操作的却是物理内存。所以当应用程序访问一个虚拟地址时,首先必须将虚拟地址转化成 物理地址,然后处理器才能解析地址访问请求。地址的转换工作需要通过查询页表才能完成,概括地讲,地址转换需要将虚拟地址分段,使每段虚地址都作为一个索 引指向页表,而页表项则指向下一级别的页表或者指向最终的物理页面。

    每个进程都有自己的页表。进程描述符的pgd域指向的就是进程的页全局目录。下面我们借用《linux设备驱动程序》中的一幅图大致看看进程地址空间到物理页之间的转换关系。

     

     

         上面的过程说起来简单,做起来难呀。因为在虚拟地址映射到页之前必须先分配物理页——也就是说必须先从内核中获取空闲页,并建立页表。下面我们介绍一下内核管理物理内存的机制。

     

    物理内存管理(页管理)

    Linux内核管理物理内存是通过分页机制实现的,它将整个内存划分成无数个4k(在i386体系结构中)大小的页,从而分配和回收内存的基本单位便是内存页了。利用分页管理有助于灵活分配内存地址,因为分配时不必要求必须有大块的连续内存[3],系统可以东一页、西一页的凑出所需要的内存供进程使用。虽然如此,但是实际上系统使用内存时还是倾向于分配连续的内存块,因为分配连续内存时,页表不需要更改,因此能降低TLB的刷新率(频繁刷新会在很大程度上降低访问速度)。

    鉴于上述需求,内核分配物理页面时为了尽量减少不连续情况,采用了“伙伴”关系来管理空闲页面。伙伴关系分配算法大家应该不陌生——几乎所有操作系统方面的书都会提到,我们不去详细说它了,如果不明白可以参看有关资料。这里只需要大家明白Linux中空闲页面的组织和管理利用了伙伴关系,因此空闲页面分配时也需要遵循伙伴关系,最小单位只能是2的幂倍页面大小。内核中分配空闲页面的基本函数是get_free_page/get_free_pages,它们或是分配单页或是分配指定的页面(2、4、8…512页)。

     注意:get_free_page是在内核中分配内存,不同于malloc在用户空间中分配,malloc利用堆动态分配,实际上是调用brk()系统调用,该调用的作用是扩大或缩小进程堆空间(它会修改进程的brk域)。如果现有的内存区域不够容纳堆空间,则会以页面大小的倍数为单位,扩张或收缩对应的内存区域,但brk值并非以页面大小为倍数修改,而是按实际请求修改。因此Malloc在用户空间分配内存可以以字节为单位分配,但内核在内部仍然会是以页为单位分配的。

       另外,需要提及的是,物理页在系统中由页结构struct page描述,系统中所有的页面都存储在数组mem_map[]中,可以通过该数组找到系统中的每一页(空闲或非空闲)。而其中的空闲页面则可由上述提到的以伙伴关系组织的空闲页链表(free_area[MAX_ORDER])来索引。

     

    文本框: 伙伴关系维护

    内核内存使用

    Slab

        所 谓尺有所长,寸有所短。以页为最小单位分配内存对于内核管理系统中的物理内存来说的确比较方便,但内核自身最常使用的内存却往往是很小(远远小于一页)的 内存块——比如存放文件描述符、进程描述符、虚拟内存区域描述符等行为所需的内存都不足一页。这些用来存放描述符的内存相比页面而言,就好比是面包屑与面 包。一个整页中可以聚集多个这些小块内存;而且这些小块内存块也和面包屑一样频繁地生成/销毁。

      为了满足内核对这种小内存块的需要,Linux系统采用了一种被称为slab分配器的技术。Slab分配器的实现相当复杂,但原理不难,其核心思想就是“存储池[4]”的运用。内存片段(小块内存)被看作对象,当被使用完后,并不直接释放而是被缓存到“存储池”里,留做下次使用,这无疑避免了频繁创建与销毁对象所带来的额外负载。

    Slab技术不但避免了内存内部分片(下文将解释)带来的不便(引入Slab分配器的主要目的是为了减少对伙伴系统分配算法的调用次数——频繁分配和回收必然会导致内存碎片——难以找到大块连续的可用内存),而且可以很好地利用硬件缓存提高访问速度。

        Slab并非是脱离伙伴关系而独立存在的一种内存分配方式,slab仍然是建立在页面基础之上,换句话说,Slab将页面(来自于伙伴关系管理的空闲页面链表)撕碎成众多小内存块以供分配,slab中的对象分配和销毁使用kmem_cache_alloc与kmem_cache_free。

    Kmalloc

    Slab分配器不仅仅只用来存放内核专用的结构体,它还被用来处理内核对小块内存的请求。当然鉴于Slab分配器的特点,一般来说内核程序中对小于一页的小块内存的请求才通过Slab分配器提供的接口Kmalloc来完成(虽然它可分配32 到131072字节的内存)。从内核内存分配的角度来讲,kmalloc可被看成是get_free_page(s)的一个有效补充,内存分配粒度更灵活了。

    有兴趣的话,可以到/proc/slabinfo中找到内核执行现场使用的各种slab信息统计,其中你会看到系统中所有slab的使用信息。从信息中可以看到系统中除了专用结构体使用的slab外,还存在大量为Kmalloc而准备的Slab(其中有些为dma准备的)。

     

     

    内核非连续内存分配(Vmalloc)

     

    伙伴关系也好、slab技 术也好,从内存管理理论角度而言目的基本是一致的,它们都是为了防止“分片”,不过分片又分为外部分片和内部分片之说,所谓内部分片是说系统为了满足一小 段内存区(连续)的需要,不得不分配了一大区域连续内存给它,从而造成了空间浪费;外部分片是指系统虽有足够的内存,但却是分散的碎片,无法满足对大块 “连续内存”的需求。无论何种分片都是系统有效利用内存的障碍。slab分 配器使得一个页面内包含的众多小块内存可独立被分配使用,避免了内部分片,节约了空闲内存。伙伴关系把内存块按大小分组管理,一定程度上减轻了外部分片的 危害,因为页框分配不在盲目,而是按照大小依次有序进行,不过伙伴关系只是减轻了外部分片,但并未彻底消除。你自己比划一下多次分配页面后,空闲内存的剩 余情况吧。

    所以避免外部分片的最终思路还是落到了如何利用不连续的内存块组合成“看起来很大的内存块”——这里的情况很类似于用户空间分配虚拟内存,内存逻辑上连续,其实映射到并不一定连续的物理内存上。Linux内核借用了这个技术,允许内核程序在内核地址空间中分配虚拟地址,同样也利用页表(内核页表)将虚拟地址映射到分散的内存页上。以此完美地解决了内核内存使用中的外部分片问题。内核提供vmalloc函数分配内核虚拟内存,该函数不同于kmalloc,它可以分配较Kmalloc大得多的内存空间(可远大于128K,但必须是页大小的倍数),但相比Kmalloc来说,Vmalloc需要对内核虚拟地址进行重映射,必须更新内核页表,因此分配效率上要低一些(用空间换时间)

    与用户进程相似,内核也有一个名为init_mm的mm_strcut结构来描述内核地址空间,其中页表项pdg=swapper_pg_dir包含了系统内核空间(3G-4G)的映射关系。因此vmalloc分配内核虚拟地址必须更新内核页表,而kmalloc或get_free_page由于分配的连续内存,所以不需要更新内核页表。

    文本框: 伙伴关系维护文本框: vmalloc文本框: Kmalloc

    vmalloc分配的内核虚拟内存与kmalloc/get_free_page分配的内核虚拟内存位于不同的区间,不会重叠。因为内核虚拟空间被分区管理,各司其职。进程空间地址分布从0到3G(其实是到PAGE_OFFSET, 在0x86中它等于0xC0000000),从3G到vmalloc_start这段地址是物理内存映射区域(该区域中包含了内核镜像、物理页面表mem_map等等)比如我使用的系统内存是64M(可以用free看到),那么(3G——3G+64M)这片内存就应该映射到物理内存,而vmalloc_start位置应在3G+64M附近(说"附近"因为是在物理内存映射区与vmalloc_start期间还会存在一个8M大小的gap来防止跃界),vmalloc_end的位置接近4G(说"接近"是因为最后位置系统会保留一片128k大小的区域用于专用页面映射,还有可能会有高端内存映射区,这些都是细节,这里我们不做纠缠)。

     

     

    上图是内存分布的模糊轮廓

     

       由get_free_page或Kmalloc函数所分配的连续内存都陷于物理映射区域,所以它们返回的内核虚拟地址和实际物理地址仅仅是相差一个偏移量(PAGE_OFFSET),你可以很方便的将其转化为物理内存地址,同时内核也提供了virt_to_phys()函数将内核虚拟空间中的物理映射区地址转化为物理地址。要知道,物理内存映射区中的地址与内核页表是有序对应的,系统中的每个物理页面都可以找到它对应的内核虚拟地址(在物理内存映射区中的)。

    而vmalloc分配的地址则限于vmalloc_start与vmalloc_end之间。每一块vmalloc分配的内核虚拟内存都对应一个vm_struct结构体(可别和vm_area_struct搞混,那可是进程虚拟内存区域的结构),不同的内核虚拟地址被4k大小的空闲区间隔,以防止越界——见下图)。与进程虚拟地址的特性一样,这些虚拟地址与物理内存没有简单的位移关系,必须通过内核页表才可转换为物理地址或物理页。它们有可能尚未被映射,在发生缺页时才真正分配物理页面。

     

    这里给出一个小程序帮助大家认清上面几种分配函数所对应的区域。

    #include<linux/module.h>

    #include<linux/slab.h>

    #include<linux/vmalloc.h>

    unsigned char *pagemem;

    unsigned char *kmallocmem;

    unsigned char *vmallocmem;

    int init_module(void)

    {

     pagemem = get_free_page(0);

     printk("<1>pagemem=%s",pagemem);

     kmallocmem = kmalloc(100,0);

     printk("<1>kmallocmem=%s",kmallocmem);

     vmallocmem = vmalloc(1000000);

     printk("<1>vmallocmem=%s",vmallocmem);

    }

    void cleanup_module(void)

    {

     free_page(pagemem);

     kfree(kmallocmem);

     vfree(vmallocmem);

    }

     

    实例

    内存映射(mmap)是Linux操作系统的一个很大特色,它可以将系统内存映射到一个文件(设备)上,以便可以通过访问文件内容来达到访问内存的目的。这样做的最大好处是提高了内存访问速度,并且可以利用文件系统的接口编程(设备在Linux中 作为特殊文件处理)访问内存,降低了开发难度。许多设备驱动程序便是利用内存映射功能将用户空间的一段地址关联到设备内存上,无论何时,只要内存在分配的 地址范围内进行读写,实际上就是对设备内存的访问。同时对设备文件的访问也等同于对内存区域的访问,也就是说,通过文件操作接口可以访问内存。Linux中的X服务器就是一个利用内存映射达到直接高速访问视频卡内存的例子。

    熟悉文件操作的朋友一定会知道file_operations结构中有mmap方法,在用户执行mmap系统调用时,便会调用该方法来通过文件访问内存——不过在调用文件系统mmap方法前,内核还需要处理分配内存区域(vma_struct)、建立页表等工作。对于具体映射细节不作介绍了,需要强调的是,建立页表可以采用remap_page_range方法一次建立起所有映射区的页表,或利用vma_struct的nopage方法在缺页时现场一页一页的建立页表。第一种方法相比第二种方法简单方便、速度快, 但是灵活性不高。一次调用所有页表便定型了,不适用于那些需要现场建立页表的场合——比如映射区需要扩展或下面我们例子中的情况。

     

    我们这里的实例希望利用内存映射,将系统内核中的一部分虚拟内存映射到用户空间,以供应用程序读取——你可利用它进行内核空间到用户空间的大规模信息传输。因此我们将试图写一个虚拟字符设备驱动程序,通过它将系统内核空间映射到用户空间——将内核虚拟内存映射到用户虚拟地址。从上一节已经看到Linux内核空间中包含两种虚拟地址:一种是物理和逻辑都连续的物理内存映射虚拟地址;另一种是逻辑连续但非物理连续的vmalloc分配的内存虚拟地址。我们的例子程序将演示把vmalloc分配的内核虚拟地址映射到用户地址空间的全过程。

    程序里主要应解决两个问题:

    第一是如何将vmalloc分配的内核虚拟内存正确地转化成物理地址?

    因为内存映射先要获得被映射的物理地址,然后才能将其映射到要求的用户虚拟地址上。我们已经看到内核物理内存映射区域中的地址可以被内核函数virt_to_phys转换成实际的物理内存地址,但对于vmalloc分配的内核虚拟地址无法直接转化成物理地址,所以我们必须对这部分虚拟内存格外“照顾”——先将其转化成内核物理内存映射区域中的地址,然后在用virt_to_phys变为物理地址。

    转化工作需要进行如下步骤:

    a)         找到vmalloc虚拟内存对应的页表,并寻找到对应的页表项。

    b)        获取页表项对应的页面指针

    c)        通过页面得到对应的内核物理内存映射区域地址

    如下图所示:

    第二是当访问vmalloc分配区时,如果发现虚拟内存尚未被映射到物理页,则需要处理“缺页异常”。因此需要我们实现内存区域中的nopaga操作,以能返回被映射的物理页面指针,在我们的实例中就是返回上面过程中的内核物理内存映射区域中的地址由于vmalloc分配的虚拟地址与物理地址的对应关系并非分配时就可确定,必须在缺页现场建立页表,因此这里不能使用remap_page_range方法,只能用vma的nopage方法一页一页的建立。

     

     

    程序组成

    map_driver.c,它是以模块形式加载的虚拟字符驱动程序。该驱动负责将一定长的内核虚拟地址(vmalloc分配的)映射到设备文件上。其中主要的函数有——vaddress_to_kaddress()负责对vmalloc分配的地址进行页表解析,以找到对应的内核物理映射地址(kmalloc分配的地址);map_nopage()负责在进程访问一个当前并不存在的VMA页时,寻找该地址对应的物理页,并返回该页的指针。

    test.c 它利用上述驱动模块对应的设备文件在用户空间读取读取内核内存。结果可以看到内核虚拟地址的内容(ok!),被显示在了屏幕上。

     

    执行步骤

    编译map_driver.c为map_driver.o模块,具体参数见Makefile

    加载模块 :insmod map_driver.o

    生成对应的设备文件

    1 在/proc/devices下找到map_driver对应的设备命和设备号:grep mapdrv /proc/devices

    2 建立设备文件mknod  mapfile c 254 0  (在我的系统里设备号为254)

        利用maptest读取mapfile文件,将取自内核的信息打印到屏幕上。

     

    全部程序下载 mmap.tar (感谢Martin Frey,该程序的主体出自他的灵感)

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     


    [1] 静态分配内存就是编译器在编译程序的时候根据源程序来分配内存. 动态分配内存就是在程序编译之后, 运行时调用运行时刻库函数来分配内存的. 静态分配由于是在程序运行之前,所以速度快, 效率高, 但是局限性大. 动态分配在程序运行时执行, 所以速度慢, 但灵活性高.

     

    [2]术语"BSS"已经有些年头了,它是block started by symbol的缩写。因为未初始化的变量没有对应的值,所以并不需要存储在可执行对象中。但是因为C标准强制规定未初始化的全局变量要被赋予特殊的默认值(基本上是0值),所以内核要从可执行代码装入变量(未赋值的)到内存中,然后将零页映射到该片内存上,于是这些未初始化变量就被赋予了0值。这样做避免了在目标文件中进行显式地初始化,减少空间浪费(来自《Linux内核开发》)

    [3] 还有些情况必须要求内存连续,比如DMA传输中使用的内存,由于不涉及页机制所以必须连续分配。

    [4] 这种存储池的思想在计算机科学里广泛应用,比如数据库连接池、内存访问池等等。

    展开全文
  • linux 内存分配的原理

    千次阅读 2019-06-01 22:47:35
    内存分配的原理 从操作系统角度来看,进程分配内存有两种方式,分别由两个系统调用完成:brk和mmap(不考虑共享内存)。 1、brk是将数据段(.data)的最高地址指针_edata往高地址推; 2、mmap是在进程的虚拟地址...

     

    内存分配的原理

    从操作系统角度来看,进程分配内存有两种方式,分别由两个系统调用完成:brk和mmap(不考虑共享内存)。

    1、brk是将数据段(.data)的最高地址指针_edata往高地址推;

    2、mmap是在进程的虚拟地址空间中(堆和栈中间,称为文件映射区域的地方)找一块空闲的虚拟内存

         这两种方式分配的都是虚拟内存,没有分配物理内存在第一次访问已分配的虚拟地址空间的时候,发生缺页中断,操作系统负责分配物理内存,然后建立虚拟内存和物理内存之间的映射关系。

    如何查看进程发生缺页中断的次数

             用ps -o majflt,minflt -C program命令查看。

              majflt代表major fault,中文名叫大错误,minflt代表minor fault,中文名叫小错误

              这两个数值表示一个进程自启动以来所发生的缺页中断的次数。

    发成缺页中断后,执行了那些操作?

    当一个进程发生缺页中断的时候,进程会陷入内核态,执行以下操作: 
    1、检查要访问的虚拟地址是否合法 
    2、
    查找/分配一个物理页 
    3、填充物理页内容(读取磁盘,或者直接置0,或者啥也不干)
     
    4、建立映射关系(虚拟地址到物理地址) 
    重新执行发生缺页中断的那条指令 
    如果第3步,需要读取磁盘,那么这次缺页中断就是majflt,否则就是minflt。 


    在标准C库中,提供了malloc/free函数分配释放内存,这两个函数底层是由brk,mmap,munmap这些系统调用实现的。


    下面以一个例子来说明内存分配的原理:

    情况一、malloc小于128k的内存,使用brk分配内存,将_edata往高地址推(只分配虚拟空间,不对应物理内存(因此没有初始化),第一次读/写数据时,引起内核缺页中断,内核才分配对应的物理内存,然后虚拟地址空间建立映射关系),如下图:

    内存分配的原理__进程分配内存有两种方式,分别由两个系统调用完成:brk和mmap(不考虑共享内存)。 - 无影 - 专注、坚持、思索

     

     

    1、进程启动的时候,其(虚拟)内存空间的初始布局如图1所示。

          其中,mmap内存映射文件是在堆和栈的中间(例如libc-2.2.93.so,其它数据文件等),为了简单起见,省略了内存映射文件。

          _edata指针(glibc里面定义)指向数据段的最高地址。 
    2、进程调用A=malloc(30K)以后,内存空间如图2:

          malloc函数会调用brk系统调用,将_edata指针往高地址推30K,就完成虚拟内存分配。

          你可能会问:只要把_edata+30K就完成内存分配了?

          事实是这样的,_edata+30K只是完成虚拟地址的分配,A这块内存现在还是没有物理页与之对应的,等到进程第一次读写A这块内存的时候,发生缺页中断,这个时候,内核才分配A这块内存对应的物理页。也就是说,如果用malloc分配了A这块内容,然后从来不访问它,那么,A对应的物理页是不会被分配的。 
    3、
    进程调用B=malloc(40K)以后,内存空间如图3。

    情况二、malloc大于128k的内存,使用mmap分配内存,在堆和栈之间找一块空闲内存分配(对应独立内存,而且初始化为0),如下图:

    内存分配的原理__进程分配内存有两种方式,分别由两个系统调用完成:brk和mmap(不考虑共享内存)。 - 无影 - 专注、坚持、思索

    4、进程调用C=malloc(200K)以后,内存空间如图4:

          默认情况下,malloc函数分配内存,如果请求内存大于128K(可由M_MMAP_THRESHOLD选项调节),那就不是去推_edata指针了,而是利用mmap系统调用,从堆和栈的中间分配一块虚拟内存。

          这样子做主要是因为::

          brk分配的内存需要等到高地址内存释放以后才能释放(例如,在B释放之前,A是不可能释放的,这就是内存碎片产生的原因,什么时候紧缩看下面),而mmap分配的内存可以单独释放。

          当然,还有其它的好处,也有坏处,再具体下去,有兴趣的同学可以去看glibc里面malloc的代码了。 
    5、进程调用D=malloc(100K)以后,内存空间如图5;
    6、进程调用free(C)以后,C对应的虚拟内存和物理内存一起释放。

    内存分配的原理__进程分配内存有两种方式,分别由两个系统调用完成:brk和mmap(不考虑共享内存)。 - 无影 - 专注、坚持、思索

    7、进程调用free(B)以后,如图7所示:

            B对应的虚拟内存和物理内存都没有释放,因为只有一个_edata指针,如果往回推,那么D这块内存怎么办呢

    当然,B这块内存,是可以重用的,如果这个时候再来一个40K的请求,那么malloc很可能就把B这块内存返回回去了。 
    8、进程调用free(D)以后,如图8所示:

            B和D连接起来,变成一块140K的空闲内存。

    9、默认情况下:

           当最高地址空间的空闲内存超过128K(可由M_TRIM_THRESHOLD选项调节)时,执行内存紧缩操作(trim)。在上一个步骤free的时候,发现最高地址空闲内存超过128K,于是内存紧缩,变成图9所示。

    展开全文
  • [Linux内存]linux内存分配函数总结

    千次阅读 2014-08-12 14:00:02
    1,linux内核内存分配函数总结 单位 接口 算法 动态大小 kmalloc/kfree/krealloc/kcalloc 按大小组织的缓存数组 固定大小 kmem_cache_create/kmem_cache_destroy kmem_cache_alloc/kmem_...
  • linux下的系统调用全过程

    千次阅读 2018-01-05 07:35:04
    使用的 glibc : glibc-2.17 使用的 linux kernel :linux-3.2.07 系统调用是内核向用户进程提供服务的唯一方法,应用程序调用操作系统提供的功能模块(函数)。 用户程序通过系统调用从用户态(user mode)切换...
  • linux 内存分配释放分析

    千次阅读 2018-02-27 23:33:04
    Linux的虚拟内存管理有几个关键概念:Linux 虚拟地址空间如何分布?malloc和free是如何分配和释放内存?如何查看堆内内存的碎片情况?既然堆内内存brk和sbrk不能直接释放,为什么不全部使用 mmap 来分配,munmap直接...
  • linux内存分配与回收

    千次阅读 2017-10-30 12:51:52
    之前在实习时,听了OOM的分享之后,就对linux内核内存管理充满兴趣;但是这块知识非常庞大,没有一定积累,不敢写下,担心误人子弟;...之前也有写过linux内存管理,那篇文章主要是linux内存管理,这篇
  • Linux内存布局、内存分配原理

    万次阅读 2017-05-21 22:09:09
    Linux的虚拟内存管理有几个关键概念 1.每个进程有独立的虚拟地址空间,进程访问的虚拟地址并不是真正的物理地址 2.虚拟地址可通过每个进程的页表与物理地址进行映射,获得真正物理地址 3.如果虚拟地址对应的...
  • Linux内核-系统调用

    千次阅读 2014-10-28 10:01:28
    Linux内核-系统调用 1.与内核通信 #系统调用在用户空间进程和硬件设备之间增加了一个中间层  作用:1.为用户空间提供了一种硬件的抽象接口  2.系统调用保证了系统的稳定和安全  3.出于...
  • 一、Linux伙伴系统分配器 伙伴系统分配器大体上分为两类。__get_free_pages()类函数返回分配的第一个页面的线性地址;alloc_pages()类函数返回页面描述符地址。不管以哪种函数进行分配,最终会调用alloc_pages()...
  • Linux 系统内存分配

    千次阅读 2015-08-20 16:06:05
    BSS(Block Started by Symbol)通常是指用来存放程序中未初始化的全局变量和静态变量的一块内存区域。特点是:可读写的,在程序执行之前BSS段会自动清0。...数据段属于静态内存分配。 代码段:代码段(code segment
  • Linux系统调用

    千次阅读 2013-03-22 14:19:11
    linux内核中设置了一组用于实现系统功能的子程序,称为系统调用系统调用和普通库函数调用非常相似,只是系统调用由操作系统核心提供,运行于核心态,而普通的函数调用由函数库或用户自己提供,运行于用户态。 ...
  • Linux内存分配与释放:一

    千次阅读 2018-05-10 18:00:17
    Linux的虚拟内存管理有几个关键概念: Linux 虚拟地址空间如何分布?malloc和free是如何分配和释放内存?如何查看堆内内存的碎片情况?既然堆内内存brk和sbrk不能直接释放,为什么不全部使用 mmap 来分配,munmap...
  • linux中mmap系统调用原理分析与实现

    千次阅读 2015-11-08 21:44:02
    参考文章:http://blog.csdn.net/shaoguangleo/article/details/5822110linux中mmap系统调用原理分析与实现 1、mmap系统调用(功能) void* mmap ( void * addr , size_t len , int prot , int flags ,int fd , ...
  • linux: fork系统调用实现剖析

    千次阅读 2015-05-12 22:18:10
    系统的角度看,进程是操作系统分配内存和cpu等资源的基本单位,进程是资源分配的最小单位。每一个进程都有自己独立的地址空间与执行状态,像unix这样的多任务操作系统能够让许多程序同时运行,每一个运行着的程序...
  • linux 内核内存分配

    千次阅读 2016-04-25 18:37:37
    linux 内核内存分配
  • Linux 2.6 劫持系统调用 隐藏进程

    千次阅读 2011-02-20 14:24:00
    Linux 2.6 劫持系统调用 隐藏进程
  • linux系统添加系统调用的小结

    千次阅读 2018-05-31 18:43:28
    1.下载VMware和utunbu压缩包,在虚拟机中打开压缩包并安装utunbu,并且在设置里分配好4G的内存,50G的硬盘,千万不要省空间,因为之后会遇到各种各样的问题,罪魁祸首就是这个内存。然后去google一下基本的Ubuntu操作...
  • Linux系统调用列表

    万次阅读 多人点赞 2017-12-09 16:45:10
    一、进程控制: ...二、文件系统控制 ...把文件在内存中的部分写回磁盘 ...调用进程所有内存页面解锁 mm/mlock.c mmap 映射虚拟内存页 arch/x86/kernel/sys_x86_64.c munmap ...
  • 测试时发现当系统中空闲内存还有很多时,就报内存分配失败了,所有进程都报内存分配失败: free" style="word-wrap:break-word; text-decoration:none; color:rgb(86,86,86); font-family:宋体,Arial; font-size:16...
  • linux常用系统调用简介

    千次阅读 2014-11-21 10:39:54
    linux常用系统调用手册 本篇文章值说明有关函数的
  • linux常见系统调用函数列表

    千次阅读 2017-05-11 09:41:18
    以下是Linux系统调用的一个列表,包含了大部分常用系统调用和由系统调用派生出的的函数。这可能是你在互联网上所能看到的唯一一篇中文注释的Linux系统调用列表,即使是简单的字母序英文列表,能做到这么完全也是很...
  • Linux read系统调用

    千次阅读 2015-06-19 10:03:07
    最近一个项目做了一个模拟u盘的设备,但是在read虚拟u盘的内容时必须每次都从磁盘内读取,而不是从系统的cache中读取,由于这个问题,就查资料看了下read的系统调用,以及文件系统的一些内容。由于文件系统涉及面较...
  • Linux系统调用解析

    千次阅读 2013-01-23 19:57:37
     Linux内核中设置了一组用于实现各种系统功能的子程序,称为系统调用。用户可以通过系统调用命令在自己的应用程序中调用它们。从某种角度来看,系统调用和普通的函数调用非常相似。区别仅仅在于,系统调用由操作...
  • Linux内存分配小结--malloc、brk、mmap

    千次阅读 2018-03-16 15:13:23
    http://blog.163.com/xychenbaihu@yeah/blog/static/132229655201210975312473/http://blog.sina.com.cn/s/blog_7c60861501015vkk.htmlLinux 的虚拟内存管理有几个关键概念: 1、每个进程都有独立的虚拟地址空间,...
  • Linux系统调用指南

    千次阅读 2019-01-13 17:45:35
    Linux系统调用指南 格式后头慢慢调,暂时先这样 原文链接: blog.packagecloud.io https://zcfy.cc/article/the-definitive-guide-to-linux-system-calls-670.html?t=new 这篇blog解释linux程序如何调用linux内核...
  • linux内核内存分配

    千次阅读 2013-11-18 20:56:07
    内核中的内存分配通常通过kmalloc/kfree来进行,但是也有其它的方式来获取内存,所有这些方式共同提供了内核中分配、...kmalloc/kfree是工作在slab分配器的基础上的,在系统启动时会调用kmem_cache_init,该函数会创
  • 操作系统-Linux添加系统调用

    千次阅读 2017-02-14 14:08:05
    Linux添加系统调用最近一直醉心于专业课~深感CS基础的重要性 但是我依然front-end high~这次就分享一下从编译内核到Linux添加系统调用的过程吧。一、准备我使用的是ubuntu 16.04 LTS,下载的是4.4.25的内核。 首先要...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 218,400
精华内容 87,360
关键字:

linux内存分配系统调用

linux 订阅