2016-03-05 23:59:35 u010165367 阅读数 285
  • 缓存redis,消息队列rabbitmq

    redis是一个key-value存储系统。它支持存储的value类型相对更多,包括string、list、set、zset和hash。为了保证效率,数据都是缓存在内存中。 redis的出现,在部分场合可以对关系数据库起到很好的补充作用。 RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。

    5767 人正在学习 去看看 李杰

在linux下的文件缓存输出机制

1、缓存已满内容输出

2、按照”\n”格式化打印输出

3、进程结束

4、STDERR的输出优先级大于STDOUT,而且STDERR不可以被重定向。[命令除外 2>&1 ]

关于linux下的dup()和dup2()

dup()重定向

int dup(int oldfd);

dup(): uses the lowest-numbered unused descriptor for the new descriptor.以后就可以通过返回的文件描述符操作文件。

dup2()重定向

int dup2(int oldfd, int newfd);

dup2() makes newfd be the copy of oldfd, closing newfd first if neces‐sary, but note the following:

If oldfd is not a valid file descriptor, then the call fails, and newfd is not closed.
If oldfd is a valid file descriptor, and newfd has the same value as
oldfd, then dup2() does nothing, and returns newfd.
dup2()可以通过把newfd的文件描述符返回给指定的文件描述符来重定向到oldfd中。

2018-10-11 16:56:27 sinat_33741547 阅读数 123
  • 缓存redis,消息队列rabbitmq

    redis是一个key-value存储系统。它支持存储的value类型相对更多,包括string、list、set、zset和hash。为了保证效率,数据都是缓存在内存中。 redis的出现,在部分场合可以对关系数据库起到很好的补充作用。 RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。

    5767 人正在学习 去看看 李杰

一、缓存

在linux系统下,free命令可以看到系统内存使用情况:
在这里插入图片描述
上图各个参数解释如下:

1、Mem

total:总内存
used:已使用的内存
free:空闲的内存
shared:当前已废弃内存
buffers Buffer:I/O缓存,用于内存和硬盘的缓冲
cached Page:高速缓存,用于CPU和内存之间的缓冲
关系:total = used + free

2、Swap

(-buffers/cache) used内存:第一部分Mem中的 used – buffers – cached
(+buffers/cache) free内存: 第一部分Mem中的 free + buffers + cached
-buffers/cache反映的是被程序实实在在吃掉的内存
+buffers/cache反映的是可以挪用的内存总数

二、手动清理

Linux 内存管理对dentry进行缓存(用于VFS,加速文件路径名到inode的转换),还有两种主要Cache方式:Buffer Cache和Page Cache,目的就是为了提升磁盘IO的性能。从低速的块设备上读取数据会暂时保存在内存中,即使数据在当时已经不再需要了,但在应用程序下一次访问该数据时,它可以从内存中直接读取,从而绕开低速的块设备,从而提高系统的整体性能。

#查看当前设置
cat /proc/sys/vm/drop_caches 

1、需要root权限
#释放pagecache
echo 1 > /proc/sys/vm/drop_caches  

#释放inode和dentry等metadata  
echo 2 > /proc/sys/vm/drop_caches  

#释放pagecache和inode/dentry
echo 3 > /proc/sys/vm/drop_caches

2、需要sudo权限
# 同步数据到磁盘
sync
sudo sysctl -w vm.drop_caches=3
sudo sysctl -w vm.drop_caches=0 #recovery drop_caches
# 查看是否修改成功
sudo sysctl -a | grep drop_caches

3、永久生效,修改/etc/sysctl.conf 文件
# 相当于关闭cache
vm.dirty_ratio = 1
vm.dirty_background_ratio=1
vm.dirty_writeback_centisecs=2
vm.dirty_expire_centisecs=3
vm.drop_caches=3
vm.swappiness =100
vm.vfs_cache_pressure=163
vm.overcommit_memory=2
vm.lowmem_reserve_ratio=32 32 8
kern.maxvnodes=3
2017-11-07 17:30:31 wqhlmark64 阅读数 396
  • 缓存redis,消息队列rabbitmq

    redis是一个key-value存储系统。它支持存储的value类型相对更多,包括string、list、set、zset和hash。为了保证效率,数据都是缓存在内存中。 redis的出现,在部分场合可以对关系数据库起到很好的补充作用。 RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。

    5767 人正在学习 去看看 李杰

1. linux中缓存的用途

在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没有则通过驱动程序直接操作磁盘。

缓存机制优点:减少系统调用次数,降低CPU上下文切换和磁盘访问频率。
CPU上下文切换:CPU给每个进程一定的服务时间,当时间片用完后,内核从正在运行的进程中收回处理器,同时把进程当前运行状态保存下来,然后加载下一个任务,这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程的进程切换。

2. 系统内存状况及缓存类型

通常我们在命令行中通过命令free -m即可查看到系统内存的使用情况:

master:~$ free -m

                           total       used          free      shared    buffers     cached
Mem:                 15972     14854     1118       6479       430       7110
-/+ buffers/cache:             7312       8659
Swap:                  16305       6431      9874

可以看出,系统内存为16G, swap内存16G. mem free虽然显示为1118,因缓存的存在,不能认为系统目前内剩下这么多内存。而应该把buffers, cached的也算上,即free+cached+buffers=1118+7110+430=8658, 总内存再减去8658=7314,与buffers/cache行中对应free列的7312和8659基本一致。


buffers/cached/swap三类缓存分别指什么类型的缓存,有什么用途?

内核在保证系统能正常使用物理内存和数据量读写情况下来分配缓冲区大小。

buffers用来缓存metadata及pages,可以理解为系统缓存,例如,vi打开一个文件。

cached用来给文件做缓存,可以理解为数据块缓存,例如,dd if=/dev/zero of=/tmp/test count=1 bs=1G 测试写入一个文件,就会被缓存到缓冲区中,当下一次再执行这个测试命令时,写入速度会明显很快。

Swap是交换分区,即通常我们说的虚拟内存,是从硬盘中划分出的一个分区。当物理内存不够用的时候,内核就会释放缓存区(buffers/cache)里一些长时间不用的程序,然后将这些程序临时放到Swap中,也就是说如果物理内存和缓存区内存不够用的时候,才会用到Swap。


3. 不同缓存的操作方法

3.1  buffer类型

内核提供了接口/proc/sys/vm/drop_caches及写入不同的值来对不同类型的缓存作清理,如1,2,3分别对应pagecache, dentries/inodes, and pagecache/dentries/inodes。

如 echo 1 > /proc/sys/vm/drop_caches or sysctl -w vm.drop_caches=1   // 清理页面缓存

上面三种方式都是临时释放缓存的方法,要想永久释放缓存,需要在/etc/sysctl.conf文件中配置:vm.drop_caches=1/2/3,然后sysctl -p生效即可!

echo方法时需要root权限,sudo时也会报权限不够,只能通过sysctl来设置。

3.2 cache类型

主要针对文件缓存,数据块等,sync命令可以用来作清除。也可清除僵尸进程对象和它们所占的内存。

3.3 swap类型

针对交换分区的内存,可以通过开关来操作: swapoff -a && swapon -a  

这里还有一篇详细的swap参数调优: http://blog.csdn.net/tenfyguo/article/details/50185915


注意事项:

上面操作在大多数情况下都不会对系统造成伤害,只会有助于释放不用的内存。

但是如果在执行这些操作时正在写数据,那么实际上在数据到达磁盘之前就将它从文件缓存中清除掉了,这可能会造成很不好的影响。那么如果避免这种事情发生呢?
因此,这里不得不提一下/proc/sys/vm/vfs_cache_pressure这个文件,告诉内核,当清理inoe/dentry缓存时应该用什么样的优先级。

默认情况下,vfs_cache_pressure=100, 备注中的英文翻译过来即:这个是默认值,内核会尝试重新声明dentries和inodes,并采用一种相对于页面缓存和交换缓存比较”合理”的比例。

减少vfs_cache_pressure的值,会导致内核倾向于保留dentry和inode缓存。
增加vfs_cache_pressure的值,(即超过100时),则会导致内核倾向于重新声明dentries和inodes
这样翻译还不直观,简单地说,理解成保留block cache和inode cache的百分比 比较直接,设的越低,打开文件越慢,因为文件缓存少,可能打开的没在缓存中。



附:

1. SUSE Lab工程师 2006年8月写的一篇文章: http://halobates.de/memorywaste.pdf    Where is the memory going? Memory wasteunder Linux 
2. ”Strom集群中频繁创建文件/stat文件引起Cache占用过多内存导致Linux系统内存不足的问题排查” http://os.51cto.com/art/201402/430458.htm

2015-06-02 13:23:38 weixin_34227447 阅读数 11
  • 缓存redis,消息队列rabbitmq

    redis是一个key-value存储系统。它支持存储的value类型相对更多,包括string、list、set、zset和hash。为了保证效率,数据都是缓存在内存中。 redis的出现,在部分场合可以对关系数据库起到很好的补充作用。 RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。

    5767 人正在学习 去看看 李杰

1、缓存机制

  为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没有则通过驱动程序直接操作磁盘。

缓存机制优点:减少系统调用次数,降低CPU上下文切换和磁盘访问频率。

CPU上下文切换:CPU给每个进程一定的服务时间,当时间片用完后,内核从正在运行的进程中收回处理器,同时把进程当前运行状态保存下来,然后加载下一个任务,这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程的进程切换。

2、查看缓存区及内存使用情况

[root@localhost ~]# free -m

      total       used       free     shared    buffers     cached

Mem:    7866       7725       141      19        74       6897

-/+ buffers/cache:     752       7113

Swap:   16382        32      16350

可以看到内存总共8G,已使用7725M,剩余141M,不少的人都是这么看的,这样并不能作为实际的使用率。因为有了缓存机制,具体该怎么算呢?

空闲内存=free(141)+buffers(74)+cached(6897)

已用内存=total(7866)-空闲内存

由此算出空闲内存是7112M,已用内存754M,这才是真正的使用率,也可参考-/+ buffers/cache这行信息也是内存正确使用率。

3、可见缓存区分为buffers和cached,他们有什么区别呢?

 内核在保证系统能正常使用物理内存和数据量读写情况下来分配缓冲区大小。buffers用来缓存metadata及pages,可以理解为系统缓存,例如,vi打开一个文件。cached是用来给文件做缓存,可以理解为数据块缓存,例如,dd if=/dev/zero of=/tmp/test count=1 bs=1G 测试写入一个文件,就会被缓存到缓冲区中,当下一次再执行这个测试命令时,写入速度会明显很快。

4、随便说下Swap做什么用的?

 Swap意思是交换分区,通常我们说的虚拟内存,是从硬盘中划分出的一个分区。当物理内存不够用的时候,内核就会释放缓存区(buffers/cache)里一些长时间不用的程序,然后将这些程序临时放到Swap中,也就是说如果物理内存和缓存区内存不够用的时候,才会用到Swap。

5、怎样释放缓存区内存呢?

 5.1 直接改变内核运行参数

 #释放pagecache

 echo 1 >/proc/sys/vm/drop_caches

 #释放dentries和inodes

 echo 2 >/proc/sys/vm/drop_caches

 #释放pagecache、dentries和inodes

 echo 3 >/proc/sys/vm/drop_caches 

 5.2 也可以使用sysctl重置内核运行参数 

 sysctl -w vm.drop_caches=3 

注意:这两个方式都是临时生效,永久生效需添加sysctl.conf文件中,一般写成脚本手动清理,建议不要清理。


2019-11-25 17:52:55 NCU_wander 阅读数 198
  • 缓存redis,消息队列rabbitmq

    redis是一个key-value存储系统。它支持存储的value类型相对更多,包括string、list、set、zset和hash。为了保证效率,数据都是缓存在内存中。 redis的出现,在部分场合可以对关系数据库起到很好的补充作用。 RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。

    5767 人正在学习 去看看 李杰

一、缓存机制介绍

缓存用途:在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没有则通过驱动程序直接操作磁盘。
缓存机制优点:减少系统调用次数,降低CPU上下文切换和磁盘访问频率。
CPU上下文切换:CPU给每个进程一定的服务时间,当时间片用完后,内核从正在运行的进程中收回处理器,同时把进程当前运行状态保存下来,然后加载下一个任务,这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程的进程切换。

Swap用途:Swap意思是交换分区,通常我们说的虚拟内存,是从硬盘中划分出的一个分区。当物理内存不够用的时候,内核就会释放缓存区(buffers/cache)里一些长时间不用的程序,然后将这些程序临时放到Swap中,也就是说如果物理内存和缓存区内存不够用的时候,才会用到Swap。
swap清理:swapoff -a && swapon -a Swap清理命令有个前提条件,空闲的内存必须比已经使用的swap空间大。

二、查看缓存区及内存使用情况

可以用free命令查看缓存区与内存的使用情况,通过free后缀不同可以看到不同的单位,包括free -m以兆为单位,free -g以GB为单位, free -k则以Kb为单位。
在这里插入图片描述
Mem 行是内存的使用情况。
Swap 行是交换空间的使用情况。
total 列显示系统总的可用物理内存和交换空间大小。
used 列显示已经被使用的物理内存和交换空间。
free 列显示还有多少物理内存和交换空间可用使用。
shared 列显示被共享使用的物理内存大小。
buff/cache 列显示被 buffer 和 cache 使用的物理内存大小。
available 列显示还可以被应用程序使用的物理内存大小。

三、buffers和cached解释

缓存/cached是把读取过的数据保存起来,重新读取时若命中(找到需要的数据)就不要去读硬盘了,若没有命中就读硬盘。其中的数据会根据读取频率进行组织,把最频繁读取的内容放在最容易找到的位置,把不再读的内容不断往后排,直至从中删除。常见的cache技术用于CPU cache中,主要原因是cpu 与memory之间的处理速度跟不上。由于cpu处理速度较快,memory跟不上,且有些文件的使用次数较多,所以放入cache中,方便CPU对某些文件的快速调用。
可以类比向居民送水的运水车,运水车首先把水放置到水槽,居民从水槽中取水;速度较居民按顺序从运水车上取水要快速。

缓冲/buffers是根据磁盘的读写设计的,把分散的写操作集中进行,减少磁盘碎片和硬盘的反复寻道,从而提高系统性能并且提高硬盘的使用时间。linux有一个守护进程定期清空缓冲内容(即写入磁盘),也可以通过sync命令手动清空缓冲。用于disk与 memory之间,主要是保护硬盘或减少网络传输的次数(内存数据表现dataSet),当然也可以提高速度(不会立即写入硬盘或直接从硬盘中读出的数据马上显示)。
可以类比采摘园,果农先把水果放到采摘框中再将采摘框送到卡车上,这样的操作顺序远远快于果农直接将水果搬到卡车上面。

两者都是RAM中的数据,简单来说,buffer是即将要被写入磁盘的,而cache是被从磁盘中读出来的。

cache是高速缓存,用于CPU和内存之间的缓冲;
buffer是I/O缓存,用于内存和硬盘的缓冲;

Free中的buffer和cache:(它们都是占用内存):
buffer : 作为buffer cache的内存,是块设备的读写缓冲区
cache: 作为page cache的内存, 文件系统的cache

linux内核缓存

阅读数 198

Linux文件系统的缓存机制

博文 来自: gftygff
没有更多推荐了,返回首页