本文转载自：Linux中国/DarkSun，原文出处： Shrikant Lavhate。
学习 Linux 中的大内存页hugepage。理解什么是“大内存页”，如何进行配置，如何查看当前状态以及如何禁用它。
本文中我们会详细介绍大内存页huge page，让你能够回答：Linux 中的“大内存页”是什么？在 RHEL6、RHEL7、Ubuntu 等 Linux 中，如何启用/禁用“大内存页”？如何查看“大内存页”的当前值？
首先让我们从“大内存页”的基础知识开始讲起。
Linux 中的“大内存页”是个什么玩意？
“大内存页”有助于 Linux 系统进行虚拟内存管理。顾名思义，除了标准的 4KB 大小的页面外，它们还能帮助管理内存中的巨大的页面。使用“大内存页”，你最大可以定义 1GB 的页面大小。
在系统启动期间，你能用“大内存页”为应用程序预留一部分内存。这部分内存，即被“大内存页”占用的这些存储器永远不会被交换出内存。它会一直保留其中，除非你修改了配置。这会极大地提高像 Oracle 数据库这样的需要海量内存的应用程序的性能。
为什么使用“大内存页”？
在虚拟内存管理中，内核维护一个将虚拟内存地址映射到物理地址的表，对于每个页面操作，内核都需要加载相关的映射。如果你的内存页很小，那么你需要加载的页就会很多，导致内核会加载更多的映射表。而这会降低性能。
使用“大内存页”，意味着所需要的页变少了。从而大大减少由内核加载的映射表的数量。这提高了内核级别的性能最终有利于应用程序的性能。
简而言之，通过启用“大内存页”，系统具只需要处理较少的页面映射表，从而减少访问/维护它们的开销！
如何配置“大内存页”？
运行下面命令来查看当前“大内存页”的详细内容。
root@kerneltalks # grep Huge /proc/meminfo
AnonHugePages:         0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
从上面输出可以看到，每个页的大小为 2MB（Hugepagesize），并且系统中目前有 0 个“大内存页”（HugePages_Total）。这里“大内存页”的大小可以从 2MB 增加到 1GB。
运行下面的脚本可以知道系统当前需要多少个巨大页。该脚本取之于 Oracle。
#!/bin/bash
#
# hugepages_settings.sh
#
# Linux bash script to compute values for the
# recommended HugePages/HugeTLB configuration
#
# Note: This script does calculation for all shared memory
# segments available when the script is run, no matter it
# is an Oracle RDBMS shared memory segment or not.
# Check for the kernel version
KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`
# Find out the HugePage size
HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}`
# Start from 1 pages to be on the safe side and guarantee 1 free HugePage
NUM_PG=1
# Cumulative number of pages required to handle the running shared memory segments
for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"`
do
   MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`
   if [ $MIN_PG -gt 0 ]; then
      NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`
   fi
done
# Finish with results
case $KERN in
   '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;
          echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;
   '2.6' | '3.8' | '3.10' | '4.1' ) echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;
    *) echo "Unrecognized kernel version $KERN. Exiting." ;;
esac
# End
将它以 hugepages_settings.sh 为名保存到 /tmp 中，然后运行之：
root@kerneltalks # sh /tmp/hugepages_settings.sh
Recommended setting: vm.nr_hugepages = 124
你的输出类似如上结果，只是数字会有一些出入。
这意味着，你系统需要 124 个每个 2MB 的“大内存页”！若你设置页面大小为 4MB，则结果就变成了 62。你明白了吧？
配置内核中的“大内存页”
本文最后一部分内容是配置上面提到的 内核参数  ，然后重新加载。将下面内容添加到 /etc/sysctl.conf 中，然后输入 sysctl -p 命令重新加载配置。
vm.nr_hugepages=126
注意我们这里多加了两个额外的页，因为我们希望在实际需要的页面数量之外多一些额外的空闲页。
现在，内核已经配置好了，但是要让应用能够使用这些“大内存页”还需要提高内存的使用阀值。新的内存阀值应该为 126 个页 x 每个页 2 MB = 252 MB，也就是 258048 KB。
你需要编辑 /etc/security/limits.conf 中的如下配置：
soft memlock 258048
hard memlock 258048
某些情况下，这些设置是在指定应用的文件中配置的，比如 Oracle DB 就是在 /etc/security/limits.d/99-grid-oracle-limits.conf 中配置的。
这就完成了！你可能还需要重启应用来让应用来使用这些新的巨大页。
（LCTT 译注：此外原文有误，“透明大内存页”和“大内存页”不同，而且，在 Redhat 系统中，“大内存页” 不是默认启用的，而“透明大内存页”是启用的。因此这个段落删除了。）

 

学习 Linux 中的大内存页hugepage。理解什么是“大内存页”，如何进行配置，如何查看当前状态以及如何禁用它。
本文中我们会详细介绍大内存页huge page，让你能够回答：Linux 中的“大内存页”是什么？在 RHEL6、RHEL7、Ubuntu 等 Linux 中，如何启用/禁用“大内存页”？如何查看“大内存页”的当前值？
首先让我们从“大内存页”的基础知识开始讲起。
Linux 中的“大内存页”是个什么玩意？
“大内存页”有助于 Linux 系统进行虚拟内存管理。顾名思义，除了标准的 4KB 大小的页面外，它们还能帮助管理内存中的巨大的页面。使用“大内存页”，你最大可以定义 1GB 的页面大小。
在系统启动期间，你能用“大内存页”为应用程序预留一部分内存。这部分内存，即被“大内存页”占用的这些存储器永远不会被交换出内存。它会一直保留其中，除非你修改了配置。这会极大地提高像 Oracle 数据库这样的需要海量内存的应用程序的性能。
为什么使用“大内存页”？
在虚拟内存管理中，内核维护一个将虚拟内存地址映射到物理地址的表，对于每个页面操作，内核都需要加载相关的映射。如果你的内存页很小，那么你需要加载的页就会很多，导致内核会加载更多的映射表。而这会降低性能。
使用“大内存页”，意味着所需要的页变少了。从而大大减少由内核加载的映射表的数量。这提高了内核级别的性能最终有利于应用程序的性能。
简而言之，通过启用“大内存页”，系统具只需要处理较少的页面映射表，从而减少访问/维护它们的开销！
如何配置“大内存页”？
运行下面命令来查看当前“大内存页”的详细内容。
root@kerneltalks # grep Huge /proc/meminfo
AnonHugePages:         0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
从上面输出可以看到，每个页的大小为 2MB（Hugepagesize），并且系统中目前有 0 个“大内存页”（HugePages_Total）。这里“大内存页”的大小可以从 2MB 增加到 1GB。
运行下面的脚本可以知道系统当前需要多少个巨大页。该脚本取之于 Oracle。
#!/bin/bash
#
# hugepages_settings.sh
#
# Linux bash script to compute values for the
# recommended HugePages/HugeTLB configuration
#
# Note: This script does calculation for all shared memory
# segments available when the script is run, no matter it
# is an Oracle RDBMS shared memory segment or not.
# Check for the kernel version
KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`
# Find out the HugePage size
HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}`
# Start from 1 pages to be on the safe side and guarantee 1 free HugePage
NUM_PG=1
# Cumulative number of pages required to handle the running shared memory segments
for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"`
do
   MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`
   if [ $MIN_PG -gt 0 ]; then
      NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`
   fi
done
# Finish with results
case $KERN in
   '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;
          echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;
   '2.6' | '3.8' | '3.10' | '4.1' ) echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;
    *) echo "Unrecognized kernel version $KERN. Exiting." ;;
esac
# End
将它以 hugepages_settings.sh 为名保存到 /tmp 中，然后运行之：
root@kerneltalks # sh /tmp/hugepages_settings.sh
Recommended setting: vm.nr_hugepages = 124
你的输出类似如上结果，只是数字会有一些出入。
这意味着，你系统需要 124 个每个 2MB 的“大内存页”！若你设置页面大小为 4MB，则结果就变成了 62。你明白了吧？
配置内核中的“大内存页”
本文最后一部分内容是配置上面提到的 内核参数 ，然后重新加载。将下面内容添加到 /etc/sysctl.conf中，然后输入 sysctl -p 命令重新加载配置。
vm.nr_hugepages=126
注意我们这里多加了两个额外的页，因为我们希望在实际需要的页面数量之外多一些额外的空闲页。
现在，内核已经配置好了，但是要让应用能够使用这些“大内存页”还需要提高内存的使用阀值。新的内存阀值应该为 126 个页 x 每个页 2 MB = 252 MB，也就是 258048 KB。
你需要编辑 /etc/security/limits.conf 中的如下配置：
soft memlock 258048
hard memlock 258048
某些情况下，这些设置是在指定应用的文件中配置的，比如 Oracle DB 就是在 /etc/security/limits.d/99-grid-oracle-limits.conf 中配置的。
这就完成了！你可能还需要重启应用来让应用来使用这些新的巨大页。
转载至https://linux.cn/article-9450-1.html

1. 什么是虚拟内存？

虚拟内存设计的背景：


进程映像包括程序代码、数据和PCB，这些都需要占据物理内存。
有可能一个进程运行所需的程序代码和数据完全超过了物理内存的大小，更何况操作系统中同时有多个进程，而且物理内存需要存储其他信息。
这时候，可以根据程序的局部性原理，先将一部分的程序和数据加载到物理内存中，剩余部分放在磁盘上。
有需要的时候，再从磁盘加载其他部分；如果物理内存不够，还可以将已经加载到物理内存的部分换出，为加载其他部分腾出空间。
而且，希望这样的换入换出对用户来说是透明。给用户一种内存很大，无需担心小而有限的内存容量给程序设计带来限制的安全感。


虚拟内存的实质：


将进程的地址空间叫做虚拟地址空间，对这片空间进行分块，每个块叫做一个页。
使用某些机制，如分页机制、分段机制、段页式机制，将每个页映射到物理内存中，即将虚拟地址映射为物理地址。
这样进程访问的是虚拟地址，内部会被转化成存储了代码或数据的物理地址，从而访问到想要的代码或数据。
并且，这些页不需要被映射到连续的物理内存，也不需要所有页都在物理内存中。
当进程引用不到物理内存中的页时，操作系统和硬件执行一些列操作，将缺失的部分装入物理内存，并重新执行失败的指令。


优点： 通过使用虚拟内存技术，可以将物理内存扩大成更大的虚拟内存，从而不用担心小容量的内存对程序设计的限制。

2. 如何实现虚拟内存？

通过分页、分段、段页式三种机制，实现虚拟内存。

① 分页

将进程的虚拟地址空间划分成页，虚拟地址由页号 + 偏移量组成。通过查找页表中的页表项（PTE），可以获得该页对应的物理内存页框号，页框号 + 虚拟地址中的偏移量构成物理地址，进程便可以访问到代码或数据。


分页机制有三种实现：两级分页、倒排序、转换检测缓冲区(TLB）。

分级分页

32 bit虚拟地址的两级页表：


系统采用字节寻址，每个页的大小为4 kb，所以需要12 bit进行页内寻址，即虚拟地址中的偏移量需要12 bit。
一级和二级页表中，每个页表的大小均为4 kb，每个页表项为4 byte，可以存储1 kb（1024）个页表项。
一级页表（即根页表）只有一个页表，每个页表项对应一个二级页表（即用户页表），因此可以查找1024个用户页表。
因此，用户页表共有 1024（页表数目）* 1024（页表项数目）= 1 Mb的页表项，可以寻址1 Mb * 4 kb= 4 GB虚拟地址空间。




根据上面的分析可知，在32 bit的两级分页系统中，地址转换如下：


前10 bit用于查找根页表中的页表项，根据根页表中的页表项可以得到对应的用户页表。
中间10 bit用于查找用户页表中的页表项，根据用户页表种的页表项可以得到对应的页框号。
后12 bit用于页内寻址（即偏移量），将页框号加上偏移量便可以得到物理地址，从而访问到物理内存中的数据。



分级的页表的缺点：页表的大小与虚拟地址空间的大小成正比。因为虚拟地址空间越大，需要的页表项越多，页表也就越大。

倒排页表

倒排页表设计的背景：


传统的分页机制实现方法中，一个虚拟页对应页表中的一个页表项，导致页表大小与虚拟地址空间的大小成正比。
物理内存中的页框数是固定的，如果我们将页框号与页表项一一对应，则可以减少传统实现方式中对内存的大量占用。
假设有$2^m$个页框，只需要构建一个大小为$2^m$的页表。检索整个页表，如果存在某个页表项i中的 （页号，PID） 符合该虚拟地址的页号和对应的PID，就认为该页的页框号为i。


倒排表的整体设计思路：


基于上面的想法，假设有$2^m$个页框，只需要构建一个大小为$2^m$的页表。每个页表项包含：页号、PID、控制位。
查找页框号时，对整个页表进行检索，直到找到某个页表项中的 （页号，PID） 满足条件。
检索页表中所有的页表项，效率非常低下。因此，需要使用一个hash表。
先通过hash函数将n bit的页号映射成m bit的页表项索引，hash表中包含指向倒排表的指针，通过该指针可以快速检索到对应的页表项。
由于不同的页号在映射时可能出现hash冲突，为了解决冲突使用链表。如果该页表项有后继页表项，则通过链指针指向后继页表项。
因此倒排页表的页表项包含：页号、PID 、控制位、链指针（没有后继页表项，链指针为null）。




倒排页表进行地址转换时，需要访问两次内存：一次查询hash表，一次查询页表。

转换检测缓冲区（TLB）
转换检测缓冲区（Translation Lookaside Buffer，TLB），又叫快表。TLB是为页表设计的一种特殊的高速缓存，一般放在MMU（Memory Management Unit，内存管理单元）中。
TLB设计的背景：


原则上访问虚拟地址时需要进行两次内存访问：一次查找页表获得对应的页框号；一次从物理内存获取数据。
因此，简单的虚拟内存方案会导致内存访问时间的加倍。
如果我们将一些访问过的页表项存入到TLB中，就可以减少内存访问的次数。


TLB访问的过程：


给定一个虚拟地址，内存首先检查TLB，如果TLB命中（TLB hit），则获得页框号并形成物理地址。
如果TLB未命中（TLB miss），则可能存在两种情况，一种是页表项在页表中但不在TLB中，一种是页表项不在页表中。
如果页表项在页表中但不在TLB中，处理器检索页表获得页表项，并从页表项中获得页框号形成物理地址。同时，处理器还要更新TLB。
如果页表项不在页表中，则发生一次缺页（page fault）中断。这时将离开硬件作用范围，将由操作系统负责将缺失的页从磁盘加载到物理内存并更新页表。
如果物理内存已满，需要先进行页面置换，再更新页表。




关于虚拟地址与TLB的映射：关联映射


对于普通的页表，虚拟地址中的页号为i，则对应的页表项索引为i。这种方式叫直接映射。
而TLB的大小是有限的，不可能使用直接映射，而是采用关联映射。
每个TLB的entry都包含：页号、页表项，查找时可以同时检索所有的entry。



② 分段

我们可以把内存看作多个段，每个段构成一个独立的地址空间。与分页相比，每个段的大小是不固定的，且可以动态增长。
分段系统中的地址转换：


分段系统中，虚拟地址由段号和偏移量组成。
通过段表指针可以查找段号所对应的的entry，该entry中包含段基址和长度。
段基址 + 偏移量可以获得物理地址（段地址），便可以访访问物理内存中对应的段。




分段与分页的比较：


对程序员是否透明： 分页对程序员是透明的，分段需要程序元显式划分每个段。
大小是否固定： 页的大小是固定的，段的大小是不固定的，而且可以动态改变。
地址空间的维度： 分页是一维地址空间：分页标识一个地址，只需要一个页内地址；分段是二维地址空间：分段标识一个地址，需要给出段名和段内地址。
出现的原因： 分页主要用于虚拟内存，从而获得更大的地址空间；分段主要为了使程序和数据可以划分成逻辑上独立的地址空间，并且有利于共享和保护。

出现的原因：分页主要用于实现虚拟内存，从而获得更大的地址空间；分段主要是为了使程序和数据可以被划分为逻辑上独立的地址空间并且有助于共享和保护。

③ 段页式

段页式的主要思想：


将进程的地址空间划分成多个段，每个段有划分成多个页。
这样可以既拥有分段共享和保护的优点，还能拥有分页的虚拟内存功能。


段页式系统的结构如下：


一个进程拥有一个段表和多个页表，每个段对应一个页表，即段表中的每个entry对应一个页表。
虚拟地址包含：段号、页号、偏移量，先通过段号查找到对应的页表，然后通过页号查找到对应的页框号形成物理地址。



3. 虚拟内存的页面置换算法
① 最佳（OPT）

最佳策略（optimal，OPT）选择置换下次访问距离当前时间最长的那些页。
需要访问的页面顺序如下，有三个页框。

$2\quad3\quad2\quad1\quad5\quad2\quad4\quad5\quad3\quad2\quad5\quad2$
则页面的置换行为如下，其中F表示页框满后的缺页中断：


注意：


由于操作系统无法知道页面下次访问的时间，所以这个算法是不可能实现的。
最佳策略作为一种标准，用于衡量其他算法的性能。

② 先进先出（FIFO）

先进先出策略（First In First Out，FIFO），选择最先进入页框中的进行置换。
页面访问的要求同上，访问结果如下：



③ 最近最少使用（LRU）

最近最少使用策略（Least Recently Used，LRU），选择上次访问时间距离当前最远的页进行置换。
LRU的理论基础：根据局部性原理，这样的页是最近最不可能访问的。
页面访问的要求同上，访问结果如下：



④ 时钟（clock）

看不懂。。。

4. 面经问题总结
1. 操作系统的内存管理

虚拟内存设计的背景（内存大小不能满足进程的运行需求）、设计思想（虚拟地址空间分页、映射、缺页如何处理）
三种机制： 分页（多级、倒排、TLB）、分段（有利于共享和保护）、段页式（前两者的结合）
页面置换算法：最佳策略（不可能实现）、先进先出、LRU

这个跟虚拟内存有关：

分段分页管理是操作系统为了管理好计算机内存资源而出现的。如果没有这个技术的话，那么我们每一次程序运行，都要从内存中分配出足够多的连续内存，然后把整个内存装载进去。如果内存没有那么大的连续内存的话，程序就无法运行。除此之外，还可能存在地址空间不隔离，程序运行时候的地址不确定。

分段页管理就是用来解决上述问题的，分开来说的话，分段技术他把虚拟地址空间映射到了物理地址空间，并且我们写的程序操作的是虚拟地址。也就是说 分段能够解决程序之间的地址空间不隔离以及程序运行的时候地址不确定的问题。因为程序运行的时候 无需关注物理地址是多少，只要虚拟地址没有改变的话，操作地址就不会改变。

还有一个问题是我们想要提高内存的使用率，因为我们在同时运行多个程序的时候，如果我们都装载进入内存的话 可能存在内存溢出，但是如果我们每次只运行一个不使内存溢出的程序的时候，就会造成部分内存的浪费。

所以我们需要用分页。这个技术跟分段类似，他们都是一种映射机制，不同之处在于映射的粒度更小了。因为我们之前的映射机制的单位是整个程序，但是分页的话就是把一段虚拟地址空间组成的某一页映射到一段物理地址空间组成的某一页。就相当于，不把整个程序一次性全部装到内存里，而是就是把程序分割成一块一块的装入内存，这样不同程序之间换进换出就会很方便，也极大的提高了内存的使用率。