精华内容
下载资源
问答
  • cache:高速缓存,位于CPU和内存之间,容量小但是速度快,一般用于IO请求,由于CPU的速度要远快于内存,所以就将过的数据放在cache中,当再一次读取这些数据的时候就不再进入磁盘中找寻,而是直接再cache中找,从而减少CPU...

    01. free 结果说明

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    • buffers: 缓冲区,用来储存速度不同或者优先级不同的两个设备之间传输的数据,缓冲(buffers)是根据磁盘的读写设计的,把分散的写操作集中进行,把要写的数据先全部读到buff里,之后在一次性的写入磁盘,从而提高系统性能。

    • cache:高速缓存,位于CPU和内存之间,容量小但是速度快,一般用于IO请求,由于CPU的速度要远快于内存,所以就将读过的数据放在cache中,当再一次读取这些数据的时候就不再进入磁盘中找寻,而是直接再cache中找,从而减少CPU的等待,提高效率

    • buffers存的是要写入磁盘的数据,cache存的是要读取的磁盘的数据
      在这里插入图片描述

    02. free 选项介绍

    在这里插入图片描述
    在这里插入图片描述

    03. 手动释放缓存(不常用)

    在Linux系统下,我们一般不需要去释放内存,因为系统已经将内存管理的很好。但是凡事也有例外,有的时候内存会被缓存占用掉,导致系统使用SWAP空间影响性能,例如当你在linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching。此时就需要执行释放内存(清理缓存)的操作了。

    这个时候,我们难道只能眼睁睁的看着缓存把内存空间占据掉吗?所以,我们还是有必要来手动进行Linux下释放内存的操作,其实也就是 释放缓存的操作了。

    释放内存前先使用sync命令做同步,以确保文件系统的完整性,将所有未写的系统缓冲区写到磁盘中,包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。否则在释放缓存的过程中,可能会丢失未保存的文件。

    sync
    echo 1 > /proc/sys/vm/drop_caches
    

    drop_caches 的值可以是0-3之间的数字,代表不同的含义:

    • 0:不释放(系统默认值)
    • 1:释放页缓存
    • 2:释放dentries和inodes
    • 3:释放所有缓存

    释放完内存后改回去让系统重新自动分配内存。

    echo 0 >/proc/sys/vm/drop_caches
    

    看内存是否已经释放掉了。

    free -m 
    

    如果我们需要释放所有缓存,就输入下面的命令:

    echo 3 > /proc/sys/vm/drop_caches
    

    实际项目中的经验告诉我们,如果因为是应用有像内存泄露、溢出的问题,从swap的使用情况是可以比较快速可以判断的,但free上面反而比较难查看。我觉得既然核心是可以快速清空buffer或cache,但核心并没有这样做(默认值是0),我们不应该随便去改变它。

    一般情况下,应用在系统上稳定运行了,free值也会保持在一个稳定值的,虽然看上去可能比较小。当发生内存不足、应用获取不到可用内存、OOM错 误等问题时,还是更应该去分析应用方面的原因,如用户量太大导致内存不足、发生应用内存溢出等情况,否则,清空buffer,强制腾出free的大小,可 能只是把问题给暂时屏蔽了,所以说一般情况下linux都不用经常手动释放内存。

    展开全文
  • CPU访问内存速度远远大于访问磁盘的速度(访问速度差距不是一般的大,差好几个数量级) 数据一旦被访问,就有可能在短期内再次被访问(临时局部原理) 1.2 策略 缓存的创建读取没什么好...

    主要内容:

    • 缓存简介
    • 页高速缓存
    • 页回写

     

    1. 缓存简介

    在编程中,缓存是很常见也很有效的一种提高程序性能的机制。

    linux内核也不例外,为了提高I/O性能,也引入了缓存机制,即将一部分磁盘上的数据缓存到内存中。

     

    1.1 原理

    之所以通过缓存能提高I/O性能是基于以下2个重要的原理:

    1. CPU访问内存的速度远远大于访问磁盘的速度(访问速度差距不是一般的大,差好几个数量级)
    2. 数据一旦被访问,就有可能在短期内再次被访问(临时局部原理)

     

    1.2 策略

    缓存的创建和读取没什么好说的,无非就是检查缓存是否存在要创建或者要读取的内容。

    但是写缓存和缓存回收就需要好好考虑了,这里面涉及到「缓存内容」和「磁盘内容」同步的问题。

    1.2.1 「写缓存」常见的有3种策略

    • 不缓存(nowrite) :: 也就是不缓存写操作,当对缓存中的数据进行写操作时,直接写入磁盘,同时使此数据的缓存失效
    • 写透缓存(write-through) :: 写数据时同时更新磁盘和缓存
    • 回写(copy-write or write-behind) :: 写数据时直接写到缓存,由另外的进程(回写进程)在合适的时候将数据同步到磁盘

     

    3种策略的优缺点如下:

    策略

    复杂度

    性能

    不缓存 简单 缓存只用于读,对于写操作较多的I/O,性能反而会下降
    写透缓存 简单 提升了读性能,写性能反而有些下降(除了写磁盘,还要写缓存)
    回写 复杂 读写的性能都有提高(目前内核中采用的方法)

     

    1.2.2 「缓存回收」的策略

    • 最近最少使用(LRU) :: 每个缓存数据都有个时间戳,保存最近被访问的时间。回收缓存时首先回收时间戳较旧的数据。
    • 双链策略(LRU/2) :: 基于LRU的改善策略。具体参见下面的补充说明

     

    补充说明(双链策略):

    双链策略其实就是 LRU(Least Recently Used) 算法的改进版。

    它通过2个链表(活跃链表和非活跃链表)来模拟LRU的过程,目的是为了提高页面回收的性能。

    页面回收动作发生时,从非活跃链表的尾部开始回收页面。

     

    双链策略的关键就是页面如何在2个链表之间移动的。

    双链策略中,每个页面都有2个标志位,分别为

    PG_active - 标志页面是否活跃,也就是表示此页面是否要移动到活跃链表

    PG_referenced - 表示页面是否被进程访问到

     

    页面移动的流程如下:

    1. 当页面第一次被被访问时,PG_active 置为1,加入到活动链表
    2. 当页面再次被访问时,PG_referenced 置为1,此时如果页面在非活动链表,则将其移动到活动链表,并将PG_active置为1,PG_referenced 置为0
    3. 系统中 daemon 会定时扫描活动链表,定时将页面的 PG_referenced 位置为0
    4. 系统中 daemon 定时检查页面的 PG_referenced,如果 PG_referenced=0,那么将此页面的 PG_active 置为0,同时将页面移动到非活动链表

    参考:Linux 2.6 中的页面回收与反向映射

     

    2. 页高速缓存

    故名思义,页高速缓存中缓存的最小单元就是内存页。

    但是此内存页对应的数据不仅仅是文件系统的数据,可以是任何基于页的对象,包括各种类型的文件和内存映射。

     

    2.1 简介

    页高速缓存缓存的是具体的物理页面,与前面章节中提到的虚拟内存空间(vm_area_struct)不同,假设有进程创建了多个 vm_area_struct 都指向同一个文件,

    那么这个 vm_area_struct 对应的 页高速缓存只有一份。

    也就是磁盘上的文件缓存到内存后,它的虚拟内存地址可以有多个,但是物理内存地址却只能有一个。

     

    为了有效提高I/O性能,页高速缓存要需要满足以下条件:

    1. 能够快速检索需要的内存页是否存在
    2. 能够快速定位 脏页面(也就是被写过,但还没有同步到磁盘上的数据)
    3. 页高速缓存被并发访问时,尽量减少并发锁带来的性能损失

     

    下面通过分析内核中的相应的结构体,来了解内核是如何提高 I/O性能的。

     

    2.2 实现

    实现页高速缓存的最重要的结构体要算是 address_space ,在 <linux/fs.h> 中

    复制代码

    struct address_space {
        struct inode        *host;        /* 拥有此 address_space 的inode对象 */
        struct radix_tree_root    page_tree;    /* 包含全部页面的 radix 树 */
        spinlock_t        tree_lock;    /* 保护 radix 树的自旋锁 */
        unsigned int        i_mmap_writable;/* VM_SHARED 计数 */
        struct prio_tree_root    i_mmap;        /* 私有映射链表的树 */
        struct list_head    i_mmap_nonlinear;/* VM_NONLINEAR 链表 */
        spinlock_t        i_mmap_lock;    /* 保护 i_map 的自旋锁 */
        unsigned int        truncate_count;    /* 截断计数 */
        unsigned long        nrpages;    /* 总页数 */
        pgoff_t            writeback_index;/* 回写的起始偏移 */
        const struct address_space_operations *a_ops;    /* address_space 的操作表 */
        unsigned long        flags;        /* gfp_mask 掩码与错误标识 */
        struct backing_dev_info *backing_dev_info; /* 预读信息 */
        spinlock_t        private_lock;    /* 私有 address_space 自旋锁 */
        struct list_head    private_list;    /* 私有 address_space 链表 */
        struct address_space    *assoc_mapping;    /* 缓冲 */
        struct mutex        unmap_mutex;    /* 保护未映射页的 mutux 锁 */
    } __attribute__((aligned(sizeof(long))));

    复制代码

     

    补充说明:

    1. inode - 如果 address_space 是由不带inode的文件系统中的文件映射的话,此字段为 null
    2. page_tree - 这个树结构很重要,它保证了页高速缓存中数据能被快速检索到,脏页面能够快速定位。
    3. i_mmap - 根据 vm_area_struct,能够快速的找到关联的缓存文件(即 address_space),前面提到过, address_space 和 vm_area_struct 是 一对多的关系。
    4. 其他字段主要是提供各种锁和辅助功能

     

    此外,对于这里出现的一种新的数据结构 radix 树,进行简要的说明。

    radix树通过long型的位操作来查询各个节点, 存储效率高,并且可以快速查询。

    linux中 radix树相关的内容参见: include/linux/radix-tree.h 和 lib/radix-tree.c

    下面根据我自己的理解,简单的说明一下radix树结构及原理。

     

    2.2.1 首先是 radix树节点的定义

    复制代码

    /* 源码参照 lib/radix-tree.c */
    struct radix_tree_node {
        unsigned int    height;        /* radix树的高度 */
        unsigned int    count;      /* 当前节点的子节点数目 */
        struct rcu_head    rcu_head;   /* RCU 回调函数链表 */
        void        *slots[RADIX_TREE_MAP_SIZE]; /* 节点中的slot数组 */
        unsigned long    tags[RADIX_TREE_MAX_TAGS][RADIX_TREE_TAG_LONGS]; /* slot标签 */
    };

    复制代码

     

    弄清楚 radix_tree_node 中各个字段的含义,也就差不多知道 radix树是怎么一回事了。

    • height   表示的整个 radix树的高度(即叶子节点到树根的高度), 不是当前节点到树根的高度
    • count    这个比较好理解,表示当前节点的子节点个数,叶子节点的 count=0
    • rcu_head RCU发生时触发的回调函数链表
    • slots    每个slot对应一个子节点(叶子节点)
    • tags     标记子节点是否 dirty 或者 wirteback

     

    2.2.2 每个叶子节点指向文件内相应偏移所对应的缓存页

    比如下图表示 0x000000 至 0x11111111 的偏移范围,树的高度为4 (图是网上找的,不是自己画的)

    radix-tree

     

    2.2.3 radix tree 的叶子节点都对应一个二进制的整数,不是字符串,所以进行比较的时候非常快

    其实叶子节点的值就是地址空间的值(一般是long型)

     

    3. 页回写

    由于目前linux内核中对于「写缓存」采用的是第3种策略,所以回写的时机就显得非常重要,回写太频繁影响性能,回写太少容易造成数据丢失。

     

    3.1 简介

    linux 页高速缓存中的回写是由内核中的一个线程(flusher 线程)来完成的,flusher 线程在以下3种情况发生时,触发回写操作。

    1. 当空闲内存低于一个阀值时

        空闲内存不足时,需要释放一部分缓存,由于只有不脏的页面才能被释放,所以要把脏页面都回写到磁盘,使其变成干净的页面。

    2. 当脏页在内存中驻留时间超过一个阀值时

       确保脏页面不会无限期的驻留在内存中,从而减少了数据丢失的风险。

    3. 当用户进程调用 sync() 和 fsync() 系统调用时

       给用户提供一种强制回写的方法,应对回写要求严格的场景。

     

    页回写中涉及的一些阀值可以在 /proc/sys/vm 中找到

    下表中列出的是与 pdflush(flusher 线程的一种实现) 相关的一些阀值

    阀值

    描述

    dirty_background_ratio 占全部内存的百分比,当内存中的空闲页达到这个比例时,pdflush线程开始回写脏页
    dirty_expire_interval 该数值以百分之一秒为单位,它描述超时多久的数据将被周期性执行的pdflush线程写出
    dirty_ratio 占全部内存的百分比,当一个进程产生的脏页达到这个比例时,就开始被写出
    dirty_writeback_interval 该数值以百分之一秒未单位,它描述pdflush线程的运行频率
    laptop_mode 一个布尔值,用于控制膝上型计算机模式

     

    3.2 实现

    flusher线程的实现方法随着内核的发展也在不断的变化着。下面介绍几种在内核发展中出现的比较典型的实现方法。

    1. 膝上型计算机模式

    这种模式的意图是将硬盘转动的机械行为最小化,允许硬盘尽可能长时间的停滞,以此延长电池供电时间。

    该模式通过 /proc/sys/vm/laptop_mode 文件来设置。(0 - 关闭该模式  1 - 开启该模式)

     

    2. bdflush 和 kupdated (2.6版本前 flusher 线程的实现方法)

    bdflush 内核线程在后台运行,系统中只有一个 bdflush 线程,当内存消耗到特定阀值以下时,bdflush 线程被唤醒

    kupdated 周期性的运行,写回脏页。

     

    bdflush 存在的问题:

    整个系统仅仅只有一个 bdflush 线程,当系统回写任务较重时,bdflush 线程可能会阻塞在某个磁盘的I/O上,

    导致其他磁盘的I/O回写操作不能及时执行。

     

    3. pdflush (2.6版本引入)

    pdflush 线程数目是动态的,取决于系统的I/O负载。它是面向系统中所有磁盘的全局任务的。

     

    pdflush 存在的问题:

    pdflush的数目是动态的,一定程度上缓解了 bdflush 的问题。但是由于 pdflush 是面向所有磁盘的,

    所以有可能出现多个 pdflush 线程全部阻塞在某个拥塞的磁盘上,同样导致其他磁盘的I/O回写不能及时执行。

     

    4. flusher线程 (2.6.32版本后引入)

    flusher线程改善了上面出现的问题:

    首先,flusher 线程的数目不是唯一的,这就避免了 bdflush 线程的问题

    其次,flusher 线程不是面向所有磁盘的,而是每个 flusher 线程对应一个磁盘,这就避免了 pdflush 线程的问题

    展开全文
  • Linux 文件读写机制

    2021-01-23 21:54:06
    文件读写涉及到计算机内存和磁盘,内存操作速度远远大于磁盘,如果每次调用read、write都去直接操作磁盘,一方面速度会被限制,一方面也会降低磁盘使用寿命,因此不管是对磁盘的操作还是操作,操作系统都会将...

    01. 基本概念

    缓存

    缓存是用来减少高速设备访问低速设备所需平均时间的组件,文件读写涉及到计算机内存和磁盘,内存操作速度远远大于磁盘,如果每次调用read、write都去直接操作磁盘,一方面速度会被限制,一方面也会降低磁盘使用寿命,因此不管是对磁盘的读操作还是写操作,操作系统都会将数据先缓存起来。

    Page Cache

    页缓存(Page Cache)是位于内存与文件之间的缓冲区,它实际上也是一块内存区域,所有的文件IO(包括网络文件)都是直接和页缓存交互,操作系统通过一系列的数据结构,比如inode, address_space, struct page,实现将一个文件映射到页的级别。很大一部分程度上,文件读写的优化就是对页缓存使用的优化。

    Dirty Page

    页缓存对应文件中的一块区域,如果页缓存和对应的文件区域内容不一致,则该页缓存叫做脏页(Dirty Page)。对页缓存进行修改或者新建页缓存,只要没有刷磁盘,都会产生脏页。

    在这里插入图片描述

    [root@ufo130 ~]# cat /proc/meminfo | grep -E '^Cached|^Dirty'
    

    在这里插入图片描述

    一些可以改变操作系统对脏页的回写行为的参数

    [root@ufo130 ~]# sysctl -a 2>/dev/null | grep dirty
    vm.dirty_background_ratio = 5
    vm.dirty_background_bytes = 0
    vm.dirty_ratio = 10
    vm.dirty_bytes = 0
    vm.dirty_writeback_centisecs = 500
    vm.dirty_expire_centisecs = 3000
    
    • vm.dirty_background_ratio是内存可以填充脏页的百分比,当脏页总大小达到这个比例后,系统后台进程就会开始将脏页刷磁盘(vm.dirty_background_bytes类似,只不过是通过字节数来设置)

    • vm.dirty_ratio是绝对的脏数据限制,内存里的脏数据百分比不能超过这个值。如果脏数据超过这个数量,新的IO请求将会被阻挡,直到脏数据被写进磁盘

    • vm.dirty_writeback_centisecs指定多长时间做一次脏数据写回操作,单位为百分之一秒

    • vm.dirty_expire_centisecs指定脏数据能存活的时间,单位为百分之一秒,比如这里设置为30秒,在操作系统进行写回操作时,如果脏数据在内存中超过30秒时,就会被写回磁盘

    • 这些参数可以通过 sudo sysctl -w vm.dirty_background_ratio=5 这样的命令来修改,需要root权限,也可以在root用户下执行 echo 5 > /proc/sys/vm/dirty_background_ratio 来修改

    02. 文件读写流程

    在有了页缓存和脏页的概念后,我们再来看文件的读写流程

    读文件

    • 用户发起read操作
    • 操作系统查找页缓存
    • 若未命中,则产生缺页异常,然后创建页缓存,并从磁盘读取相应页填充页缓存
    • 若命中,则直接从页缓存返回要读取的内容
    • 用户read调用完成

    写文件

    • 用户发起write操作
    • 操作系统查找页缓存
    • 若未命中,则产生缺页异常,然后创建页缓存,将用户传入的内容写入页缓存
    • 若命中,则直接将用户传入的内容写入页缓存
    • 用户write调用完成
    • 页被修改后成为脏页,操作系统有两种机制将脏页写回磁盘
    • 用户手动调用fsync()
    • 由pdflush进程定时将脏页写回磁盘

    页缓存和磁盘文件是有对应关系的,这种关系由操作系统维护,对页缓存的读写操作是在内核态完成,对用户来说是透明的

    03. 文件读写的优化思路

    不同的优化方案适应于不同的使用场景,比如文件大小,读写频次等,这里我们不考虑修改系统参数的方案,修改系统参数总是有得有失,需要选择一个平衡点,这和业务相关度太高,比如是否要求数据的强一致性,是否容忍数据丢失等等。优化的思路有以下两个考虑点。

    • 最大化利用页缓存

    • 减少系统api调用次数

    第一点很容易理解,尽量让每次IO操作都命中页缓存,这比操作磁盘会快很多,第二点提到的系统api主要是read和write,由于系统调用会从用户态进入内核态,并且有些还伴随着内存数据的拷贝,因此在有些场景下减少系统调用也会提高性能。

    展开全文
  • Linux文件读写与缓存

    2018-01-24 23:55:07
    文件读写涉及到计算机内存和磁盘,内存操作速度远远大于磁盘,如果每次调用read,write都去直接操作磁盘,一方面速度会被限制,一方面也会降低磁盘使用寿命,因此不管是对磁盘的操作还是操作,操作系统都会将数据...
    缓存
    

    缓存是用来减少高速设备访问低速设备所需平均时间的组件,文件读写涉及到计算机内存和磁盘,内存操作速度远远大于磁盘,如果每次调用read,write都去直接操作磁盘,一方面速度会被限制,一方面也会降低磁盘使用寿命,因此不管是对磁盘的读操作还是写操作,操作系统都会将数据缓存起来

    Page Cache
    页缓存(Page Cache)是位于内存和文件之间的缓冲区,它实际上也是一块内存区域,所有的文件IO(包括网络文件)都是直接和页缓存交互,操作系统通过一系列的数据结构,比如inode, address_space, struct page,实现将一个文件映射到页的级别,这些具体数据结构及之间的关系我们暂且不讨论,只需知道页缓存的存在以及它在文件IO中扮演着重要角色,很大一部分程度上,文件读写的优化就是对页缓存使用的优化

    Dirty Page
    页缓存对应文件中的一块区域,如果页缓存和对应的文件区域内容不一致,则该页缓存叫做脏页(Dirty Page)。对页缓存进行修改或者新建页缓存,只要没有刷磁盘,都会产生脏页

    查看页缓存大小
    linux上有两种方式查看页缓存大小,一种是free命令

    $ free
    total used free shared buffers cached
    Mem: 20470840 1973416 18497424 164 270208 1202864
    -/+ buffers/cache: 500344 19970496
    Swap: 0 0 0
    cached那一列就是页缓存大小,单位Byte

    另一种是直接查看/proc/meminfo,这里我们只关注两个字段

    Cached: 1202872 kB
    Dirty: 52 kB
    Cached是页缓存大小,Dirty是脏页大小

    脏页回写参数
    Linux有一些参数可以改变操作系统对脏页的回写行为

    $ sysctl -a 2>/dev/null | grep dirty
    vm.dirty_background_ratio = 10
    vm.dirty_background_bytes = 0
    vm.dirty_ratio = 20
    vm.dirty_bytes = 0
    vm.dirty_writeback_centisecs = 500
    vm.dirty_expire_centisecs = 3000
    vm.dirty_background_ratio是内存可以填充脏页的百分比,当脏页总大小达到这个比例后,系统后台进程就会开始将脏页刷磁盘(vm.dirty_background_bytes类似,只不过是通过字节数来设置)

    vm.dirty_ratio是绝对的脏数据限制,内存里的脏数据百分比不能超过这个值。如果脏数据超过这个数量,新的IO请求将会被阻挡,直到脏数据被写进磁盘

    vm.dirty_writeback_centisecs指定多长时间做一次脏数据写回操作,单位为百分之一秒

    vm.dirty_expire_centisecs指定脏数据能存活的时间,单位为百分之一秒,比如这里设置为30秒,在操作系统进行写回操作时,如果脏数据在内存中超过30秒时,就会被写回磁盘

    这些参数可以通过 sudo sysctl -w vm.dirty_background_ratio=5 这样的命令来修改,需要root权限,也可以在root用户下执行 echo 5 > /proc/sys/vm/dirty_background_ratio 来修改

    文件读写流程
    在有了页缓存和脏页的概念后,我们再来看文件的读写流程

    读文件
    用户发起read操作

    操作系统查找页缓存

    若未命中,则产生缺页异常,然后创建页缓存,并从磁盘读取相应页填充页缓存

    若命中,则直接从页缓存返回要读取的内容

    用户read调用完成

    写文件
    用户发起write操作

    操作系统查找页缓存

    若未命中,则产生缺页异常,然后创建页缓存,将用户传入的内容写入页缓存

    若命中,则直接将用户传入的内容写入页缓存

    用户write调用完成

    页被修改后成为脏页,操作系统有两种机制将脏页写回磁盘

    用户手动调用fsync()

    由pdflush进程定时将脏页写回磁盘

    页缓存和磁盘文件是有对应关系的,这种关系由操作系统维护,对页缓存的读写操作是在内核态完成,对用户来说是透明的

    文件读写的优化思路
    不同的优化方案适应于不同的使用场景,比如文件大小,读写频次等,这里我们不考虑修改系统参数的方案,修改系统参数总是有得有失,需要选择一个平衡点,这和业务相关度太高,比如是否要求数据的强一致性,是否容忍数据丢失等等。优化的思路有以下两个考虑点

    最大化利用页缓存

    减少系统api调用次数

    第一点很容易理解,尽量让每次IO操作都命中页缓存,这比操作磁盘会快很多,第二点提到的系统api主要是read和write,由于系统调用会从用户态进入内核态,并且有些还伴随这内存数据的拷贝,因此在有些场景下减少系统调用也会提高性能

    readahead
    readahead是一种非阻塞的系统调用,它会触发操作系统将文件内容预读到页缓存中,并且立马返回,函数原型如下

    ssize_t readahead(int fd, off64_t offset, size_t count);
    在通常情况下,调用readahead后立马调用read并不会提高读取速度,我们通常在批量读取或在读取之前一段时间调用readahead,假设如下场景,我们需要连续读取1000个1M的文件,有如下两个方案,伪代码如下

    直接调用read函数

    char* buf = (char*)malloc(10*1024*1024);
    for (int i = 0; i < 1000; ++i)
    {
    int fd = open_file();
    int size = stat_file_size();
    read(fd, buf, size);
    // do something with buf
    close(fd);
    }
    先批量调用readahead再调用read

    int* fds = (int*)malloc(sizeof(int)*1000);
    int* fd_size = (int*)malloc(sizeof(int)*1000);
    for (int i = 0; i < 1000; ++i)
    {
    int fd = open_file();
    int size = stat_file_size();
    readahead(fd, 0, size);
    fds[i] = fd;
    fd_size[i] = size;
    }
    char* buf = (char*)malloc(10*1024*1024);
    for (int i = 0; i < 1000; ++i)
    {
    read(fds[i], buf, fd_size[i]);
    // do something with buf
    close(fds[i]);
    }
    感兴趣的可以写代码实际测试一下,需要注意的是在测试前必须先回写脏页和清空页缓存,执行如下命令

    sync && sudo sysctl -w vm.drop_caches=3
    可通过查看/proc/meminfo中的Cached及Dirty项确认是否生效

    通过测试发现,第二种方法比第一种读取速度大约提高10%-20%,这种场景下是批量执行readahead后立马执行read,优化空间有限,如果有一种场景可以在read之前一段时间调用readahead,那将大大提高read本身的读取速度

    这种方案实际上是利用了操作系统的页缓存,即提前触发操作系统将文件读取到页缓存,并且操作系统对缺页处理、缓存命中、缓存淘汰都由一套完善的机制,虽然用户也可以针对自己的数据做缓存管理,但和直接使用页缓存比并没有多大差别,而且会增加维护代价

    mmap
    mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系,函数原型如下

    void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
    实现这样的映射关系后,进程就可以采用指针的方式读写操作这一段内存,而系统会自动回写脏页面到对应的文件磁盘上,即完成了对文件的操作而不必再调用read,write等系统调用函数。如下图所示

    mmap除了可以减少read,write等系统调用以外,还可以减少内存的拷贝次数,比如在read调用时,一个完整的流程是操作系统读磁盘文件到页缓存,再从页缓存将数据拷贝到read传递的buffer里,而如果使用mmap之后,操作系统只需要将磁盘读到页缓存,然后用户就可以直接通过指针的方式操作mmap映射的内存,减少了从内核态到用户态的数据拷贝

    mmap适合于对同一块区域频繁读写的情况,比如一个64M的文件存储了一些索引信息,我们需要频繁修改并持久化到磁盘,这样可以将文件通过mmap映射到用户虚拟内存,然后通过指针的方式修改内存区域,由操作系统自动将修改的部分刷回磁盘,也可以自己调用msync手动刷磁盘

    展开全文
  • linux文件的读写

    2017-08-22 10:23:00
    文件读写涉及到计算机内存和磁盘,内存操作速度远远大于磁盘,如果每次调用read,write都去直接操作磁盘,一方面速度会被限制,一方面也会降低磁盘使用寿命,因此不管是对磁盘的操作还是操作,操作系统都会将数据...
  • 文件读写涉及到计算机内存和磁盘,内存操作速度远远大于磁盘,如果每次调用read,write都去直接操作磁盘,一方面速度会被限制,一方面也会降低磁盘使用寿命,因此不管是对磁盘的操作还是操作,操作系统都会将数据...
  • 其特征是对应每一个打开的文件,都存在一个缓冲区, 在内存中都有一片缓冲区,每次文件会多若干条记录,这样下次文件时就可以直接从内存的缓存中取出,每次文件时也仅仅是写入到内存的缓冲区,等待满足一定...
  • 第一章关于计算机基础知识 电脑的五大单元包括:输入单元、输出单元、控制单元、算术逻辑单元、记忆单元。 外频指的是CPU与外部...BIOS是一个程序,这个程序时死到主板上面的一个内存芯片中,这个内存芯片在...
  • 1、buffer(缓冲) 是为了提高内存和硬盘(或其他I/O设备...cpu在执行程序所用的指令和读数据都是针对内存的,也就是从内存中取得的。由于内存读写速度慢,为了提高cpu和内存之间数据交换的速度,在cpu和内存之间增...
  • BufferCache的区别 buffer与cache操作的对象就不一样。 1、buffer(缓冲)是为了提高内存和硬盘(或其他I/O设备)... cpu在执行程序所用的指令和读数据都是针对内存的,也就是从内存中取得的。由于内存读写速度...
  • 鸟哥后感 第一章关于计算机基础知识 电脑的五大单元包括:输入单元、输出单元、控制单元、算术逻辑单元、记忆单元。 外频指的是CPU与外部组件...BIOS是一个程序,这个程序时死到主板上面的一个内存芯片中,这...
  • nomn工具使用文档 linux资源监控 ...磁盘 I/O 速度、传输和读/比率 文件系统中的可用空间 磁盘适配器 网络 I/O 速度、传输和读/比率 页面空间页面速度 CPU AIX 规范 消耗资源最多的进程 ...
  • (节约内存并加快进程创建速度),当某个进程想要对这个页面进行操作时(修改数据),会影响共享这个页面的其他进程,这时才把页面进行复制(分别持有不同的页面),这时进行操作不会影响到其他进程。...
  • Redis是一个速度非常快的非关系型数据库,它可以存储键5种不同类型值的之间的映射,可以将存储在内存中的键值对数据持久化到硬盘,可以使用复制特性来扩展性能,又可以使用客户端分片来扩展性能。 下载地址...
  • 相关阅读(点击即可阅读哦~):Linux0.11时复制机制详解LINUX0.11信号机制Linux0.11共享内存机制为了提高系统访问块设备的速度,内核在内存中开辟了一块高速缓冲区,将其划分为一个个与磁盘块大小相等的缓冲块来暂...
  • 使用资源监控工具 glances ...磁盘 I/O 速度、传输和读/比率 文件系统中的可用空间 磁盘适配器 网络 I/O 速度、传输和读/比率 页面空间页面速度 消耗资源最多的进程 计算机信息系...
  • Glances(Python)—Unix/Linux...CPU 使用率 内存使用情况 内核统计信息运行队列信息 磁盘 I/O 速度、传输和读/比率 文件系统中的可用空间 磁盘适配器 网络 I/O 速度、传输和读/比率 页面空间页面速度 消耗资
  • 前言 ...磁盘 I/O 速度、传输和读/比率 文件系统中的可用空间 磁盘适配器 网络 I/O 速度、传输和读/比率 页面空间页面速度 消耗资源最多的进程 计算机信息系统资源 glances 工具可...
  • Java性能调优(二):IO和内存分析

    千次阅读 2018-06-12 15:54:25
    1.pidstat ​ KB_rd/s表示每秒,KB_wr/s每秒2.iostat​ 查看历史IO网络IO分析​ 使用命令 sar -n FULL 1 2内存消耗分析 JVM内存消耗过多会导致GC喜欢 ii 次难过频繁,CPU消耗增加,应用线程的执行速度严...

空空如也

空空如也

1 2 3 4 5 6
收藏数 111
精华内容 44
关键字:

linux内存读速度和写速度

linux 订阅