13518219792
背景：为什么要进程绑定到指定的CPU上？
网站建设哪家好，找成都创新互联公司！专注于网页设计、网站建设、微信开发、小程序定制开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了沙湾免费建站欢迎大家使用！
1) 减少CPU切换开销
CPU固定绑定到主机的指定CPU上，在整个运行期间，不会发生CPU浮动， 减少CPU切换开销 ，提高虚拟机的计算性能。
2) 提供CPU cache的命中率
在多核运行的机器上，每个CPU自身会有缓存，缓存着进程使用的信息，而进程可能会被OS调度到其他CPU上，如此， CPU cache命中率 就低了，当绑定CPU后，程序就会一直在指定的cpu跑，不会由操作系统调度到其他CPU上，性能有一定的提高。
taskset：设置或检索进程的CPU相关性
1) 如果没有taskset命令， 安装 包含taskset命令的util-linux工具集：yum install util-linux
2) 查看进程的CPU亲和力 ，-p选项是一个十六进制数，-cp选项是一个cpu列表，表示相应的cpu核。3的二进制形式是0011，相应的第0位和第1位都是1，表示14795进程只能运行在cpu的第0个核和第1个核。
$ taskset -p 14795
pid 14795's current affinity mask: 3
$ taskset -cp 14795
pid 14795's current affinity list: 0,1
3) 绑定CPU ： taskset -cp CPU IDs Process ID
$ taskset -cp 0 14795
pid 14795's current affinity list: 0,1
pid 14795's new affinity list: 0
OpenStack K版本引入了许多CPU高级特性功能，不仅支持自定义CPU拓扑功能，支持设置虚拟机CPU的socket、core、threads等，还支持CPU pinning功能，即CPU核绑定，甚至能够配置虚拟机独占物理CPU，虚拟机的vCPU能够固定绑定到物理宿主机的指定pCPU上，在整个运行期间，不会发生CPU浮动，减少CPU切换开销，提高虚拟机的计算性能。
$ lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 40
On-line CPU(s) list: 0-39
Thread(s) per core: 2
Core(s) per socket: 10
Socket(s): 2
NUMA node(s): 2
Vendor ID: GenuineIntel
CPU family: 6
Model: 63
Model name: Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz
Stepping: 2
CPU MHz: 1201.480
BogoMIPS: 4603.87
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 25600K
NUMA node0 CPU(s): 0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,38
NUMA node1 CPU(s): 1,3,5,7,9,11,13,15,17,19,21,23,25,27,29,31,33,35,37,39
以上可知，该宿主机有两个CPU(socket)，每个CPU 10核(core)，每个核可以开启两个 超线程(thread) ，即有40个逻辑CPU。宿主机CPU包含两个NUMA node，其中node0包括0，2，4，...,38，node1包括1,3,5,...,39。
步骤1) 创建支持绑核的主机集合
不是所有的计算节点都支持CPU绑核特性，可以通过主机集合(host aggregate)把支持绑核CPU的主机放到一个集合中。
步骤2) 创建支持绑核的flavor
目前Nova并不支持启动时直接指定主机集合的metadata(hint只支持指定server group)，需要通过flavor的扩展属性和主机集合的metadata匹配，将不匹配的主机滤掉，部署到匹配的主机上。flavor支持配置虚拟机的CPU拓扑、QoS、CPU pinning策略、NUMA拓扑以及PCI passthrough等扩展属性。
步骤3) 通过步骤2) 的Flavor创建虚拟机，创建完成到虚机所在物理机上查看虚机绑核情况：
查询方法1) virsh dumpxml 虚机id
vcpu placement='static'8/vcpu
cputune
vcpupin vcpu='0' cpuset='25'/
vcpupin vcpu='1' cpuset='5'/
vcpupin vcpu='2' cpuset='8'/
vcpupin vcpu='3' cpuset='28'/
vcpupin vcpu='4' cpuset='9'/
vcpupin vcpu='5' cpuset='29'/
vcpupin vcpu='6' cpuset='24'/
vcpupin vcpu='7' cpuset='4'/
emulatorpin cpuset='4-5,8-9,24-25,28-29'/
/cputune
查询方法2) 在虚拟机所运行的物理宿主机上执行virsh list找到相应虚机的实例id，然后virsh vcpupin 实例id可以查到该虚拟机所占用的CPU具体核数。
# virsh vcpupin vm46 绑核的虚机
VCPU: CPU Affinity
----------------------------------
0: 25
1: 5
2: 8
3: 28
4: 9
5: 29
6: 24
7: 4
# virsh vcpupin vm6 未绑核的虚机
VCPU: CPU Affinity
----------------------------------
0: 0-39
1: 0-39
2: 0-39
3: 0-39
4: 0-39
5: 0-39
6: 0-39
7: 0-39
virsh vcpupin 子命令是KVM自带的指令工具，它可以把vm实例的每个vcpu与宿主机的cpu对应绑定，这种绑定方式粒度更小。
# virsh vcpupin vm4 查看绑定情况
VCPU: CPU Affinity
----------------------------------
0: 0-23
1: 0-23
#默认2个vcpu没有进行绑定，可以在0-23号cpu上切换
# virsh vcpuinfo vm4 查看CPU使用时长
VCPU: 0
CPU: 10 #运行在10号cpu上
State: running
CPU time: 14.2s
CPU Affinity: yyyyyyyyyyyyyyyyyyyyyyyy
VCPU: 1
CPU: 8 #运行在8号cpu上
State: running
CPU time: 6.8s
CPU Affinity: yyyyyyyyyyyyyyyyyyyyyyyy
# virsh vcpupin vm4 0 3 绑定虚机的第1个CPU到宿主机的第4号cpu上
# virsh vcpupin vm4 1 5 绑定虚机的第2个CPU到宿主机的第6号cpu上
# virsh vcpuinfo vm4
VCPU: 0
CPU: 3
State: running
CPU time: 14.5s
CPU Affinity: ---y--------------------
VCPU: 1
CPU: 5
State: running
CPU time: 7.3s
CPU Affinity: -----y------------------
# virsh vcpupin vm4
VCPU: CPU Affinity
----------------------------------
0: 3
1: 5
三种方法的相同点：都能实现绑核效果
优劣势对比：openstack支持虚机重生虚拟迁移到其他物理主机上，第1种方法在这些操作后绑核还是有效的，但2和3就不会绑核的。此外，第1种方法是自动的，2和3是手动的，可以作为临时补救方法。
在虚拟机上执行高密度计算，测试的Python脚本如下:
# test_compute.py
k = 0
for i in xrange(1, 100000):
for j in xrange(1, 100000):
k = k + i * j
使用shell脚本同时跑50个进程，保证CPU满载运行:
for i in `seq 1 50`; do
python test_compute.py
done
使用sar命令查看宿主机CPU使用情况:
sar -P ALL 1 100
结果如下:
Linux 3.10.0-229.20.1.el7.x86_64 (8409a4dcbe1d11af) 05/10/2018 _x86_64_ (40 CPU)
10:20:14 PM CPU %user %nice %system %iowait %steal %idle
10:20:15 PM all 20.48 0.00 0.15 0.03 0.00 79.34
10:20:15 PM 0 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 1 0.99 0.00 0.00 0.00 0.00 99.01
10:20:15 PM 2 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 3 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 4 100.00 0.00 0.00 0.00 0.00 0.00
10:20:15 PM 5 100.00 0.00 0.00 0.00 0.00 0.00
10:20:15 PM 6 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 7 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 8 100.00 0.00 0.00 0.00 0.00 0.00
10:20:15 PM 9 100.00 0.00 0.00 0.00 0.00 0.00
10:20:15 PM 10 1.01 0.00 0.00 0.00 0.00 98.99
10:20:15 PM 11 1.00 0.00 0.00 0.00 0.00 99.00
10:20:15 PM 12 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 13 0.00 0.00 0.99 0.00 0.00 99.01
10:20:15 PM 14 0.99 0.00 0.99 0.00 0.00 98.02
10:20:15 PM 15 1.00 0.00 0.00 0.00 0.00 99.00
10:20:15 PM 16 0.99 0.00 0.99 0.00 0.00 98.02
10:20:15 PM 17 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 18 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 19 3.96 0.00 0.99 0.00 0.00 95.05
10:20:15 PM 20 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 21 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 22 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 23 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 24 100.00 0.00 0.00 0.00 0.00 0.00
10:20:15 PM 25 100.00 0.00 0.00 0.00 0.00 0.00
10:20:15 PM 26 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 27 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 28 100.00 0.00 0.00 0.00 0.00 0.00
10:20:15 PM 29 100.00 0.00 0.00 0.00 0.00 0.00
10:20:15 PM 30 2.00 0.00 0.00 0.00 0.00 98.00
10:20:15 PM 31 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 32 2.97 0.00 0.99 0.00 0.00 96.04
10:20:15 PM 33 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 34 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 35 1.00 0.00 0.00 0.00 0.00 99.00
10:20:15 PM 36 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 37 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 38 0.00 0.00 0.00 0.00 0.00 100.00
10:20:15 PM 39 0.00 0.00 0.00 0.00 0.00 100.00
从CPU使用情况看宿主机的pCPU 4-5，8-9，24-25，28-29使用率100%，并且整个过程中没有浮动，符合我们的预期结果，说明CPU核绑定成功。
你那个是系统下把CPU的核说钉在五河以下是比较好的，因为吧和内心压力非常大，发热量非常大。
大概的介绍一下Linux 的指定CPU运行，包括进程和线程。linux下的top命令是可以查看当前的cpu的运行状态，按1可以查看系统有多少个CPU，以及每个CPU的运行状态。
可是如何查看线程的CPU呢？top
-Hp pid,pid就是你当前程序的进程号，如果是多线程的话，是可以查看进程内所有线程的CPU和内存使用情况。
pstree可以查看主次线程，同样的pstree -p pid。可以查看进程的线程情况。
taskset这个其实才是重点，可以查看以及设置当前进程或线程运行的CPU(设置亲和力)。
taskset -pc pid,查看当前进程的cpu，当然有的时候不只是一个，taskset -pc cpu_num pid ,cpu_num就是设置的cpu。
这样的话基本的命令和操作其实大家都知道了，接下来就是在代码中完成这些操作，并通过命令去验证代码的成功率。
进程制定CPU运行：
[cpp] view plain copy
#includestdlib.h
#includestdio.h
#includesys/types.h
#includesys/sysinfo.h
#includeunistd.h
#define __USE_GNU
#includesched.h
#includectype.h
#includestring.h
int main(int argc, char* argv[])
{
//sysconf获取有几个CPU
int num = sysconf(_SC_NPROCESSORS_CONF);
int created_thread = 0;
int myid;
int i;
int j = 0;
//原理其实很简单，就是通过cpu_set_t进行位与操作
cpu_set_t mask;
cpu_set_t get;
if (argc != 2)
{
printf("usage : ./cpu num\n");
exit(1);
}
myid = atoi(argv[1]);
printf("system has %i processor(s). \n", num);
//先进行清空，然后设置掩码
CPU_ZERO(mask);
CPU_SET(myid, mask);
//设置进程的亲和力
if (sched_setaffinity(0, sizeof(mask), mask) == -1)
{
printf("warning: could not set CPU affinity, continuing...\n");
}
while (1)
{
CPU_ZERO(get);
//获取当前进程的亲和力
if (sched_getaffinity(0, sizeof(get), get) == -1)
{
printf("warning: cound not get cpu affinity, continuing...\n");
}
for (i = 0; i num; i++)
{
if (CPU_ISSET(i, get))
{
printf("this process %d is running processor : %d\n",getpid(), i);
}
}
}
return 0;
}
进程设置CPU运行，其实只能是单线程。多线程设定CPU如下：
[cpp] view plain copy
#define _GNU_SOURCE
#include stdio.h
#include stdlib.h
#include string.h
#include unistd.h
#include pthread.h
#include sched.h
void *myfun(void *arg)
{
cpu_set_t mask;
cpu_set_t get;
char buf[256];
int i;
int j;
//同样的先去获取CPU的个数
int num = sysconf(_SC_NPROCESSORS_CONF);
printf("system has %d processor(s)\n", num);
for (i = 0; i num; i++) {
CPU_ZERO(mask);
CPU_SET(i, mask);
//这个其实和设置进程的亲和力基本是一样的
if (pthread_setaffinity_np(pthread_self(), sizeof(mask), mask) 0) {
fprintf(stderr, "set thread affinity failed\n");
}
CPU_ZERO(get);
if (pthread_getaffinity_np(pthread_self(), sizeof(get), get) 0) {
fprintf(stderr, "get thread affinity failed\n");
}
for (j = 0; j num; j++)
{
if (CPU_ISSET(j, get))
{
printf("thread %d is running in processor %d\n", (int)pthread_self(), j);
}
}
j = 0;
while (j++ 100000000) {
memset(buf, 0, sizeof(buf));
}
}
pthread_exit(NULL);
}
int main(int argc, char *argv[])
{
pthread_t tid;
if (pthread_create(tid, NULL, (void *)myfun, NULL) != 0)
{
fprintf(stderr, "thread create failed\n");
return -1;
}
pthread_join(tid, NULL);
return 0;
}
1 安装taskset
$ yum install util-linux1
如果系统没有taskset命令，使用yum安装util-linux即可，这是一个工具集，其中包含了taskset命令。
2 查看应用的cpu亲和力（affinity）
$ taskset -p 14795pid 14795's current affinity mask: 3
$ taskset -cp 14795
pid 14795's current affinity list: 0,11234
示例中，查看进程14795的cpu亲和力，使用-p选项指定需要查询的进程号，默认打印的是一个十六进制数，如果使用-cp选项打印的是一个cpu列表，表示相应的cpu核。3的二进制形式是0011，相应的第0位和第1位都是1，对应了-cp打印的0和1，表示14795进程只能运行在cpu的第0个核和第1个核。
3 将应用绑定到指定的cpu运行
$ taskset -p 0x1 14795pid 14795's current affinity mask: 3pid 14795's new affinity mask: 1123
或
$ taskset -cp 0 14795pid 14795's current affinity list: 0,1
pid 14795's new affinity list: 0123
示例中，通过taskset命令重新设置了进程14795的cpu亲和力，前后2种方式设置效果一样，都表示进程14795只能运行在cpu的第0个核。因为-p指定的0x01二进制形式为0001，第0位是1，表示第0个cpu核。-cp直接指定了0，也表示第0个cpu核。
除了通过taskset命令绑定应用到指定的cpu上，也可以通过taskset命令启动应用，并指定应用运行的cpu，例如：
$ taskset 0x1 sleep 10000
[2] 14925$ taskset -p 14925pid 14925's current affinity mask: 1
$ taskset -cp 14925
pid 14925's current affinity list: 0123456
示例中，通过taskset启动应用（使用sleep命令模拟应用），并设置相应的cpu亲和力，即进程14925只能运行在cpu的第0个核。启动程序后查看进程的cpu亲和力，和启动时设置的相同。
另外，除了通过taskset命令实现cpu绑定，很多语言都提供了相应的api实现cpu绑定功能，例如c的sched_setaffinity和sched_getaffinity，python 3的os.sched_setaffinity和os.sched_getaffinity。
