精华内容
下载资源
问答
  • 内存分页大小对性能的提升原理

    千次阅读 2017-04-09 16:31:38
    内存分页大小对性能的提升原理 转自:http://blog.csdn.net/chluknight/article/details/6689323 JVM优化之调整大内存分页(LargePage) 本文将从内存分页的原理,如何调整分页大小两节内容,向你阐述LargePage对...

    内存分页大小对性能的提升原理

              转自:http://blog.csdn.net/chluknight/article/details/6689323        

              请先看这篇文章: 内存分页概念

    JVM优化之调整大内存分页(LargePage)

    本文将从内存分页的原理,如何调整分页大小两节内容,向你阐述LargePage对JVM的性能有何提升作用,并在文末点明了大内分页的副作用。OK,让我们开始吧!

    内存分页大小对性能的提升原理

    首先,我们需要回顾一小部分计算机组成原理,这对理解大内存分页至于JVM性能的提升是有好处的。

    什么是内存分页?
    我们知道,CPU是通过寻址来访问内存的。32位CPU的寻址宽度是 0~0xFFFFFFFF ,计算后得到的大小是4G,也就是说可支持的物理内存最大是4G。

    但在实践过程中,碰到了这样的问题,程序需要使用4G内存,而可用物理内存小于4G,导致程序不得不降低内存占用。
    为了解决此类问题,现代CPU引入了 MMU(Memory Management Unit 内存管理单元)。

    MMU 的核心思想是利用虚拟地址替代物理地址,即CPU寻址时使用虚址,由 MMU 负责将虚址映射为物理地址。
    MMU的引入,解决了对物理内存的限制,对程序来说,就像自己在使用4G内存一样。

    内存分页(Paging)是在使用MMU的基础上,提出的一种内存管理机制。它将虚拟地址和物理地址按固定大小(4K)分割成页(page)和页帧(page frame),并保证页与页帧的大小相同

    这种机制,从数据结构上,保证了访问内存的高效,并使OS能支持非连续性的内存分配。
    在程序内存不够用时,还可以将不常用的物理内存页转移到其他存储设备上,比如磁盘,这就是大家耳熟能详的虚拟内存。

    在上文中提到,虚拟地址与物理地址需要通过映射,才能使CPU正常工作。
    而映射就需要存储映射表。在现代CPU架构中,映射关系通常被存储在物理内存上一个被称之为页表(page table)的地方。
    如下图:

    物理内存之间的交互关系

    从这张图中,可以清晰地看到CPU与页表,物理内存之间的交互关系。

    进一步优化,引入TLB(Translation lookaside buffer,页表寄存器缓冲)
    由上一节可知,页表是被存储在内存中的。我们知道CPU通过总线访问内存,肯定慢于直接访问寄存器的。
    为了进一步优化性能,现代CPU架构引入了TLB,用来缓存一部分经常访问的页表内容。
    如下图:

    加入了TLB物理内存之间的交互关系

    对比 9.6 那张图,在中间加入了TLB。

    为什么要支持大内存分页?
    TLB是有限的,这点毫无疑问。当超出TLB的存储极限时,就会发生 TLB miss,之后,OS就会命令CPU去访问内存上的页表。如果频繁的出现TLB miss,程序的性能会下降地很快。

    为了让TLB可以存储更多的页地址映射关系,我们的做法是调大内存分页大小。

    如果一个页4M,对比一个页4K,前者可以让TLB多存储1000个页地址映射关系,性能的提升是比较可观的。

    调整OS和JVM内存分页

    Linux和windows下要启用大内存页,有一些限制和设置步骤。

    Linux:
    限制:需要2.6内核以上或2.4内核已打大内存页补丁。
    确认是否支持,请在终端敲如下命令:

    # cat /proc/meminfo | grep Huge
    HugePages_Total: 0
    HugePages_Free: 0
    Hugepagesize: 2048 kB

    如果有HugePage字样的输出内容,说明你的OS是支持大内存分页的。Hugepagesize就是默认的大内存页size。
    接下来,为了让JVM可以调整大内存页size,需要设置下OS 共享内存段最大值 和 大内存页数量。

    共享内存段最大值
    建议这个值大于Java Heap size,这个例子里设置了4G内存。

    # echo 4294967295 > /proc/sys/kernel/shmmax

    大内存页数量

    # echo 154 > /proc/sys/vm/nr_hugepages

    这个值一般是 Java进程占用最大内存/单个页的大小 ,比如java设置 1.5G,单个页 10M,那么数量为  1536/10 = 154。
    注意:因为proc是内存FS,为了不让你的设置在重启后被冲掉,建议写个脚本放到 init 阶段(rc.local)。

    Windows:
    限制:仅支持 windows server 2003 以上server版本
    操作步骤:

    1. Control Panel -> Administrative Tools -> Local Security Policy
    2. Local Policies -> User Rights Assignment
    3. 双击 “Lock pages in memory”, 添加用户和组
    4. 重启电脑

    注意: 需要管理员操作。

    单个页大小调整
    JVM启用时加参数 -XX:LargePageSizeInBytes=10m
    如果JDK是在1.5 update5以前的,还需要手动加 -XX:+UseLargePages,作用是启用大内存页支持。

    大内存分页的副作用

    因为每页size变大了,导致JVM在计算Heap内部分区(perm, new, old)内存占用比例时,会出现超出正常值的划分。最坏情况下是,某个区会多占用一个页的大小。不过后续jvm版本也在调整这个策略。

    一般情况,不建议将页size调得太大,4-64M,是可以接受的(默认是4M)。为了合理设置这个值,你应该对你的系统做一下benchmark。
    说实话,网上我见过调得最猛的,有调到256M,从benchmark报表上看,性能不是太坏。如果你有64位的大内存机器,不妨尝试一下。

    另外,网上有很多GC调优的文章内容中都有提到 LargePageSizeInBytes,但未提任何OS限制。在OS不支持的情况下,设置这个参数,这个参数将仅仅是个摆设。



    展开全文
  • 内存分配粒度vs内存分页大小

    千次阅读 2017-11-24 10:44:33
    分页大小:表示的是页面的大小,32位操作系统是4K是内存管理的最小单位。 例如: 假设你要请求6k = 4K + 2K的空间,操作系统会一次分配64K的空间放着,又因为内存最小操作单位是4K,所以实际上给你分配了8K=4K + 4K...
    分配粒度:表示每次请求内存的时候最小给分配多少,比如32位操作系统基本上每次分配的是64K大小。
    分页大小:表示的是页面的大小,32位操作系统是4K是内存管理的最小单位。
    
    例如:
    假设你要请求6k = 4K + 2K的空间,操作系统会一次分配64K的空间放着,又因为内存最小操作单位是4K,所以实际上给你分配了8K=4K +  4K,剩下的56K放着有需要了再给你。
    展开全文
  • 分页大小:表示的是页面的大小,32位操作系统是4K是内存管理的最小单位。 例如: 假设你要请求6k = 4K + 2K的空间,操作系统会一次分配64K的空间放着,又因为内存最小操作单位是4K,所以实际上给你分配了8K=4K + ...
    分配粒度:表示每次请求内存的时候最小给分配多少,比如32位操作系统基本上每次分配的是64K大小。
    分页大小:表示的是页面的大小,32位操作系统是4K是内存管理的最小单位。
    
    例如:
    假设你要请求6k = 4K + 2K的空间,操作系统会一次分配64K的空间放着,又因为内存最小操作单位是4K,所以实际上给你分配了8K=4K +  4K,剩下的56K放着有需要了再给你。
    
    
    WIN32 操作系统为每个进程分配4G的内存空间,程序的代码,常量变量都分配在这4G内存空间上。
    这里提到的内存空间跟内存条的内存是一个概念吗?
    如果辅盘也不足2G呢?
    这里说的内存是逻辑上的,也就是虚拟的。并不是物理上的内存空间。实际实现逻辑内存的时候如果物理内存不足就用辅存(硬盘)。
    有的人自然要问:既然可以用辅存虚拟,那么每个进程不是想要多大虚拟内存就有多大么?
    实际不是这样,32位机决定了内存寻址空间最大只能是2的32次方,即4G
    
    如果程序实际需要的内存大于虚拟内存(尽管没有达到4G),windows就会在右下脚出现一个黄色三角形里面有个感叹号.提示虚拟内存不足,要你设置虚拟内存为更大的值.如果不设置,或如你所说硬盘都不足4G就会自动终止进程终止不了就死机了.我在vista下面用ramDisk的时候就碰到过.

    展开全文
  • 内存分页

    千次阅读 2018-07-20 11:16:05
    什么是内存分页? 我们知道,CPU是通过寻址来访问内存的。32位CPU的寻址宽度是 0~0xFFFFFFFF ,计算后得到的大小是4G,也就是说可支持的物理内存最大是4G。 但在实践过程中,碰到了这样的问题,程序需要使用4G内存...

    什么是内存分页?
    我们知道,CPU是通过寻址来访问内存的。32位CPU的寻址宽度是 0~0xFFFFFFFF ,计算后得到的大小是4G,也就是说可支持的物理内存最大是4G。

    但在实践过程中,碰到了这样的问题,程序需要使用4G内存,而可用物理内存小于4G,导致程序不得不降低内存占用。
    为了解决此类问题,现代CPU引入了 MMU(Memory Management Unit 内存管理单元)。

    MMU 的核心思想是利用虚拟地址替代物理地址,即CPU寻址时使用虚址,由 MMU 负责将虚址映射为物理地址。
    MMU的引入,解决了对物理内存的限制,对程序来说,就像自己在使用4G内存一样。

    内存分页(Paging)是在使用MMU的基础上,提出的一种内存管理机制。它将虚拟地址和物理地址按固定大小(4K)分割成页(page)和页帧(page frame),并保证页与页帧的大小相同。

    这种机制,从数据结构上,保证了访问内存的高效,并使OS能支持非连续性的内存分配。
    在程序内存不够用时,还可以将不常用的物理内存页转移到其他存储设备上,比如磁盘,这就是大家耳熟能详的虚拟内存。

    在上文中提到,虚拟地址与物理地址需要通过映射,才能使CPU正常工作。
    而映射就需要存储映射表。在现代CPU架构中,映射关系通常被存储在物理内存上一个被称之为页表(page table)的地方。
    如下图:

    物理内存之间的交互关系

    从这张图中,可以清晰地看到CPU与页表,物理内存之间的交互关系。

    进一步优化,引入TLB(Translation lookaside buffer,页表寄存器缓冲)
    由上一节可知,页表是被存储在内存中的。我们知道CPU通过总线访问内存,肯定慢于直接访问寄存器的。
    为了进一步优化性能,现代CPU架构引入了TLB,用来缓存一部分经常访问的页表内容。
    如下图:

    加入了TLB物理内存之间的交互关系

    对比 9.6 那张图,在中间加入了TLB。

    为什么要支持大内存分页?
    TLB是有限的,这点毫无疑问。当超出TLB的存储极限时,就会发生 TLB miss,之后,OS就会命令CPU去访问内存上的页表。如果频繁的出现TLB miss,程序的性能会下降地很快。

    为了让TLB可以存储更多的页地址映射关系,我们的做法是调大内存分页大小。

    如果一个页4M,对比一个页4K,前者可以让TLB多存储1000个页地址映射关系,性能的提升是比较可观的。

     

    linux如何查看内存分页大小?

    getconf PAGESIZE

    [root@localhost ~]# getconf PAGESIZE
    4096
    [root@localhost ~]#

     

    展开全文
  • JVM调优——大内存分页(LargePage)

    千次阅读 2018-11-10 16:36:35
    一、内存分页大小为何会提升性能 首先,我们需要回顾一小部分计算机组成原理,这对理解大内存分页至于JVM性能的提升是有好处的。 1、什么是内存分页? 我们知道,CPU是通过寻址来访问内存的。32位CPU的寻址宽度是 0~...
  • 内存分页机制

    万次阅读 2018-09-27 18:08:33
    但仅仅这样还是不够的,如果应用程序过多,或者内存碎片过多,又或者曾经被换出到硬盘的内存段需要再重新装载到内存,可内存中找不到合适大小的区域,要如何解决? 内存置换 当下大部分操作系统的方案是,将一些...
  • 虚拟内存 分页

    2015-10-11 16:51:27
    虚拟内存 分页昨天参加XX头条笔试,关于内存管理的两道题,赞。 原题: 程序读取数据时为什么用虚拟地址,而不直接用物理地址? 为什么要分页? 第1题:我当时想,是啊,为什么不直接用物理地址,用虚拟地址还要...
  • JVM优化之调整大内存分页(LargePage) 发表于 2009-11-21 | 分类于 未分类  | 作者:晓峰 本文将从内存分页的原理,...内存分页大小对性能的提升原理 首先,我们需要回顾一小部分计算机组成原理,这对理解大内
  • 内存分页详解

    千次阅读 2017-08-10 10:45:53
    32位CPU的寻址宽度是 0~0xFFFFFFFF ,计算后得到的大小是4G,也就是说可支持的物理内存最大是4G。 但在实践过程中,碰到了这样的问题,程序需要使用4G内存,而可用物理内存小于4G,导致程序不得不降低内存占用。 ...
  • 内存分页之32位分页

    千次阅读 2016-02-23 21:14:14
    分页模式Intel的64位处理器一共支持3种内存页模式: 32 Bit Paging, 32位分页模式 PAE Paging, PAE分页模式 IA-32e Paging, IA-32e分页模式这本文中主要还是介绍第一种: 32位分页模式 地址类型在搞清楚分页的概念...
  • 内存分页之PAE分页模式

    千次阅读 2016-02-25 21:11:14
    PAE分页模式可以将32位的...页面大小PAE分页主要支持两种页面大小: 4KB页面 2MB页面 对于4KB页面,其线性地址转换方式如下: 对于2MB的页面,其线性地址转换方式如下: 如何映射(4GB->4PB)相比于32位分页方式,PAE
  • java内存分页和自定义排序 1,java内存分页 import java.util.List; /** * * @Description: 对列表进行内存分页 * * @author: leiming * @date:2019年4月9日 上午11:12:54 */ public class ...
  • 内存分页概念

    千次阅读 2013-11-15 14:33:44
    虚拟地址空间划分成称为页(page)的单位,而相应的物理地址空间也被进行划分,单位是页帧(frame),一个在磁盘,一个在内存,页和页桢的大小必须相同。在32位地址的机器,它的虚拟地址范围从0~0xFFFFFFFF(4G),而这...
  • 修改非分页内存大小[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management] 修改:NonPagedPoolSize的十进制数值(如修改为192)修改Null会话内存共享[HKEY_LOCAL_MACHINE\SYSTEM...
  • 在linux中内存分页大小会影响到系统性能,如果内存够大(>8G) 就需要调整内存分页大小,如果分页太小过多的页面交换,回导致系统性能的下降 将oracle的所有实例都启动后,运行如下脚本 可以计算的最大内存...
  • displaytag实现内存分页

    千次阅读 2010-12-03 16:35:00
    displaytag实现内存分页
  • 今天 我们主要为各位朋友们讲解内存分页管理、虚拟内存介绍。传统存储管理方式的特征 上一节所讨论的各种内存管理策略都是为了同时将多个进程保存在内存中以便允许多道程序设计。它们都具有以下两个共同的特征:  ...
  • 内存分页的几种方法

    千次阅读 2018-07-27 13:02:30
    项目中使用到的几种内存分页 目录 项目中使用到的几种内存分页 目录 第一种 第二种 第一种 /** * 处理内存分页 * @param list * @param pageNo * @param pageSize * @return */ private &...
  • 理解内存分页机制

    2009-07-15 11:10:00
    理解内存分页机制 2008-03-17 17:07在8086时期,寄存器是16位,无法存放20位的物理地址,为了解决这问题,人们提出了分段机制,分段机制就是将内存分段,每段大小64kb,在段寄存器中放入段基址,然后+上段偏移量就成...
  • 分页内存管理

    千次阅读 2019-03-18 16:31:41
    文章目录一、分页内存管理详解1、分页内存管理的核心思想2、分页内存管理能解决什么问题?3、虚拟地址的构成与地址翻译4、页表5、分页内存管理的优缺点二、分页内存管理例子解析三、缺页中断和页面置换的目标1、缺页...
  • 在写驱动的时候,经常要调用ExAllocatePoolWithTag函数分配内存,其中第一个参数可以是如下几个:     ...从非分页内存池中分配内存 ...从非分页内存池中分配内存,如果不能分配则产生bugchec
  • 参考:内存分段和分页的区别https://blog.csdn.net/u011740322/article/details/10081495 分段和分页其实都是一种对地址的划分或者映射的方式。 两者的区别主要有以下几点:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 85,884
精华内容 34,353
关键字:

内存分页大小