前言

嵌入式里面我们会使用到多核的cpu，随着产品芯片性能提升，我们也会有很多功能，以及很多进程产生运行，这个时候我们在任务调度调优的时候，把一些进程绑定到固定cpu运行，下面就来分享一下cpu绑定运行的过程：

首先运行的环境需要多核，大家可以按照下面命令进行查询对应设备的cpu数量

查看cpu有几个核

使用cat /proc/cpuinfo查看cpu信息，如下两个信息：

processor，指明第几个cpu处理器
cpu cores，指明每个处理器的核心数

基本概念

cpu亲和性(affinity)

CPU的亲和性， 就是进程要在指定的 CPU 上尽量长时间地运行而不被迁移到其他处理器，也称为CPU关联性；再简单的点的描述就将指定的进程或线程绑定到相应的cpu上；在多核运行的机器上，每个CPU本身自己会有缓存，缓存着进程使用的信息，而进程可能会被OS调度到其他CPU上，如此，CPU cache命中率就低了，当绑定CPU后，程序就会一直在指定的cpu跑，不会由操作系统调度到其他CPU上，性能有一定的提高。

• 软亲和性(affinity)

就是进程要在指定的 CPU 上尽量长时间地运行而不被迁移到其他处理器，Linux 内核进程调度器天生就具有被称为 软 CPU 亲和性(affinity) 的特性，这意味着进程通常不会在处理器之间频繁迁移。这种状态正是我们希望的，因为进程迁移的频率小就意味着产生的负载小。

• 硬亲和性(affinity)

简单来说就是利用linux内核提供给用户的API，强行将进程或者线程绑定到某一个指定的cpu核运行。

代码绑定实现

上面我们使用cat /proc/cpuinfo命令查询了自己设备的CPU，以我为例，我的电脑从0～7一共有8核。

下面是代码的demo：

#include <stdio.h>
#include <unistd.h>
#include <thread>

void thread_func1()
{
        cpu_set_t mask;
        CPU_ZERO(&mask);
        CPU_SET(1, &mask); //指定该线程使用的CPU
        if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0) {
                perror("pthread_setaffinity_np");
        }
        int count = 0;
        while(1)
        {
                count ++;
                sleep(1);
                printf("fun 1 cnt :%d \n",count);
                for(int i = 0; i < 8; i++) {
                        if (CPU_ISSET(i, &mask))  //查看cpu i 是否在get 集合当中
                        {
                                printf("1 this process %d of running processor: %d\n", getpid(), i);
                        }
                }
        }
}

void thread_func2()
{
        int count = 0;
        cpu_set_t mask;
        CPU_ZERO(&mask);
        CPU_SET(5, &mask);
        if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0) {
                perror("pthread_setaffinity_np");
        }
        while(1)
        {
                usleep(1000*1000);
                count ++;
                printf("fun 2 cnt :%d \n",count);
                for(int i = 0; i < 8; i++) {
                 if (CPU_ISSET(i, &mask))  //查看cpu i 是否在get 集合当中
                {
                       printf("2 this process %d of running processor: %d\n", getpid(), i);

                    }
                }

        }

}

int main(int argc, char *argv[])
{
      int cpus = 0;

        cpus = sysconf(_SC_NPROCESSORS_CONF);

        printf("cpus: %d\n", cpus); //查看cpu的个数；


    cpu_set_t mask;
    CPU_ZERO(&mask);
    CPU_SET(7, &mask);
    if (sched_setaffinity(0, sizeof(mask), &mask) < 0) {
        perror("sched_setaffinity");
    }

    std::thread t1(thread_func1);
    std::thread t2(thread_func2);
        usleep(1000); /* 让当前的设置有足够时间生效*/
       while(1)
        {
                /*查看运行在当前进程的cpu*/
                sleep(1); /* 让当前的设置有足够时间生效*/
                printf("fun main \n");
                for(int i = 0; i < cpus; i++) {

                        if (CPU_ISSET(i, &mask))  //查看cpu i 是否在get 集合当中
                        {
                                printf("3 this process %d of running processor: %d\n", getpid(), i);

                        }
                }
        }

    
    t1.join();
    t2.join();
}

使用此命令编译：

g++ test_select_cpu.cpp -pthread --std=c++11

上面一共运行了三个线程，一个是main 主线程，还有两个是自己定义的thread。

最重要的设置代码就是下面所示：设置cpu 亲和

cpu_set_t mask;
CPU_ZERO(&mask);/* 初始化set集，将set置为空*/
CPU_SET(5, &mask);/* 将对应的cpu序号加入到集合*/
if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0) /*设置cpu 亲和性(affinity)*/
{ 
    perror("pthread_setaffinity_np");
}

执行代码 ./a.out

代码绑定查看

使用ps -ef | grep a.out 命令查看对应的PID

使用 top命令查看对应pid的线程详细信息 top -p 54056

在进入top命令后，继续输入 f

使用上下 移动高亮到p

空格 选中

再按q 退出显示

输入大写H

就可以看到对应线程数据了

最右边就是对应的线程绑定的CPU序号。

作者：良知犹存，白天努力工作，晚上原创公号号主。公众号内容除了技术还有些人生感悟，一个认真输出内容的职场老司机，也是一个技术之外丰富生活的人，摄影、音乐 and 篮球。关注我，与我一起同行。

                              ‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧  END  ‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧

推荐阅读

【1】jetson nano开发使用的基础详细分享

【2】Linux开发coredump文件分析实战分享

【3】CPU中的程序是怎么运行起来的 必读

【4】cartographer环境建立以及建图测试

【5】设计模式之简单工厂模式、工厂模式、抽象工厂模式的对比

本公众号全部原创干货已整理成一个目录，回复[ 资源 ]即可获得。

微信公众号：运维开发故事，作者：夏老师

支持超线程的numa架构

物理硬件视角，

• 将多个CPU封装在一起，这个封装被称为插槽Socket；

• Core是socket上独立的硬件单元；

• 通过intel的超线程HT技术进一步提升CPU的处理能力，OS看到的逻辑上的核Processor的数量。

每个硬件线程都可以按逻辑cpu寻址，因此这个处理器看上去有八块cpu。

对于操作系统的视角：

• CPU(s)：8

• NUMA node0 CPU(s)：0，4

• NUMA node1 CPU(s)：1，5

• NUMA node2 CPU(s)：2，6

• NUMA node3 CPU(s)：3，7

操作系统视角.png

L1缓分成两种，一种是指令缓存，一种是数据缓存。L2缓存和L3缓存不分指令和数据。L1和L2缓存在第一个CPU核中，L3则是所有CPU核心共享的内存。L1、L2、L3的越离CPU近就越小，速度也越快，越离CPU远，速度也越慢。再往后面就是内存，内存的后面就是硬盘。我们来看一些他们的速度：

• L1 的存取速度：4 个CPU时钟周期

• L2 的存取速度：11 个CPU时钟周期

• L3 的存取速度：39 个CPU时钟周期

• RAM内存的存取速度 ：107 个CPU时钟周期

如果 CPU 所要操作的数据在缓存中，则直接读取，这称为缓存命中。命中缓存会带来很大的性能提升，因此，我们的代码优化目标是提升 CPU 缓存的命中率。

在主流的服务器上，一个 CPU 处理器会有 10 到 20 多个物理核。同时，为了提升服务器的处理能力，服务器上通常还会有多个 CPU 处理器（也称为多 CPU Socket），每个处理器有自己的物理核（包括 L1、L2 缓存），L3 缓存，以及连接的内存，同时，不同处理器间通过总线连接。通过lscpu来看：

root@ubuntu:~# lscpu
Architecture:          x86_64
CPU(s):                32
Thread(s) per core:    1
Core(s) per socket:    8
Socket(s):             4
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              20480K
NUMA node0 CPU(s):     0-7
NUMA node1 CPU(s):     8-15
NUMA node2 CPU(s):     16-23
NUMA node3 CPU(s):     24-31

你可能注意到，三级缓存要比一、二级缓存大许多倍，这是因为当下的 CPU 都是多核心的，每个核心都有自己的一、二级缓存，但三级缓存却是一颗 CPU 上所有核心共享的。但是，有个地方需要你注意一下：如果应用程序先在一个 Socket 上运行，并且把数据保存到了内存，然后被调度到另一个 Socket 上运行，此时，应用程序再进行内存访问时，就需要访问之前 Socket 上连接的内存，这种访问属于远端内存访问。和访问 Socket 直接连接的内存相比，远端内存访问会增加应用程序的延迟。

常用性能监测工具

Linux系统下，CPU与内存子系统性能调优的常用性能监测工具有top、perf、numactl这3个工具。1） top工具 top工具是最常用的Linux性能监测工具之一。通过top工具可以监视进程和系统整体性能。

• top 查看系统整体的资源使用情况

• top后输入1 查看看每一个逻辑核cpu的资源使用情况

• top -p $PID -H 查看某个进程内所有检查的CPU资源使用情况

• top后输入F，并选择P选项 查看线程执行过程中是否调度到其他cpu上执行，上下文切换过多时，需要注意。

2） perf工具 perf工具是非常强大的Linux性能分析工具，可以通过该工具获得进程内的调用情况、资源消耗情况并查找分析热点函数。以CentOS为例，使用如下命令安装perf工具：

• perf top 查看占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数。

• perf -g record – sleep 1 -p $PID 记录进程在1s内的系统调用。

• perf -g latency --sort max 查看上一步记录的结果，以调度延迟排序。

• perf report 查看记录

3） numactl工具 numactl工具可用于查看当前服务器的NUMA节点配置、状态，可通过该工具将进程绑定到指定CPU核上，由指定CPU核来运行对应进程。以CentOS为例，使用如下命令安装numactl工具：

• numactl -H 查看当前服务器的NUMA配置。

• numastat 查看当前的NUMA运行状态。

优化方法

1） NUMA优化，减少跨NUMA访问内存 不同NUMA内的CPU核访问同一个位置的内存，性能不同。内存访问延时从高到低为：跨CPU>跨NUMA，不跨CPU>NUMA内。因此在应用程序运行时要尽可能地避免跨NUMA访问内存，这可以通过设置线程的CPU亲和性来实现。常用的修改方式有如下：（1）将设备中断绑定到特定CPU核上。可以通过如下命令绑定：

echo $cpuNumber > /proc/irq/$irq/smp_affinity_list
 例子：echo 0-4 > /proc/irq/78/smp_affinity_list
      echo 3,8 > /proc/irq/78/smp_affinity_list

（2）通过numactl启动程序，如下面的启动命令表示启动程序./mongod，mongo就只能在CPU core 0到core7运行(-C控制)。

numactl -C 0-7 ./mongod

（3）可以使用 taskset 命令把一个程序绑定在一个核上运行。

taskset -c 0 ./redis-server

（4）在C/C++代码中通过sched_setaffinity函数来设置线程亲和性。（5）很多开源软件已经支持在自带的配置文件中修改线程的亲和性，例如Nginx可以修改nginx.conf文件中worker_cpu_affinity参数来设置Nginx线程亲和性。

2绑核注意事项

在 CPU 的 NUMA 架构下，对 CPU 核的编号规则，并不是先把一个 CPU Socket 中的所有逻辑核编完，再对下一个 CPU Socket 中的逻辑核编码，而是先给每个 CPU Socket 中每个物理核的第一个逻辑核依次编号，再给每个 CPU Socket 中的物理核的第二个逻辑核依次编号。注意的是在多个进程要进行亲和性绑核的，你一定要注意 NUMA 架构下 CPU 核的编号方法，这样才不会绑错核。

预告

下一节，我们将聊聊如何通过提L1与L2缓存命中率来提高应用程序性能。