从 CPU 时间说起...
下面这个是 top 命令的界面，相信大家应该都不陌生。
top - 19:01:38 up 91 days, 23:06, 1 user, load average: 0.00, 0.01, 0.05Tasks: 151 total, 1 running, 149 sleeping, 1 stopped, 0 zombie
%Cpu(s): 0.0 us, 0.1 sy, 0.0 ni, 99.8 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 8010420 total, 5803596 free, 341300 used, 1865524 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 6954384 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
13436 root 20 0 1382776 28040 5728 S 0.3 0.4 251:21.06 n9e-collector
1 root 20 0 43184 3384 2212 S 0.0 0.0 5:15.64 systemd
2 root 20 0 0 0 0 S 0.0 0.0 0:00.28 kthreadd
3 root 20 0 0 0 0 S 0.0 0.0 0:00.58 ksoftirqd/0
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
7 root rt 0 0 0 0 S 0.0 0.0 0:35.48 migration/0
%Cpu(s): 这一行表示的是 CPU 不同时间的占比，其中大家比较熟悉的应该是 system time 与 user time：
- 正常情况下user time 占比应该最高，这是进程运行应用代码的的时间占比（CPU 密集）
- 而system time 占用率高，则意味着存在频繁的系统调用（IO 密集）或者一些潜在的性能问题
不熟悉的朋友可以参考下面这张图（来源于极客时间的课程）：
接下来我们将探究隐藏在这些时间背后的操作原理。
内核态与用户态
操作系统的核心功能就是管理硬件资源，因此不可避免会使用到一些直接操作硬件的CPU指令，这类指令我们称之为特权指令。特权指令如果使用不当，将会导致整个系统的崩溃，因此操作系统提供了一组特殊的资源访问代码 —— 内核kernel 来负责执行这些指令。
操作系统将虚拟地址空间划分为两部分：
- 内核空间kernel memotry：存放内核代码和数据（进程间共享）
- 用户空间user memotry：存放用户程序的代码和数据（相互隔离）
通过区分内核空间和用户空间的设计，隔离了操作系统代码与应用程序代码。即便是单个应用程序出现错误也不会影响到操作系统的稳定性，这样其它的程序还可以正常的运行。
应用程序通过内核提供的接口，访问 CPU、内存、I/O 等硬件资源，我们将该过程称为系统调用system call。系统调用是操作系统的最小功能单位。
每个进程处于活动状态时，可能处于以下两种状态之一：
- 执行用户空间的代码时，处于用户态
- 执行内核空间的代码时（系统调用），处于内核态
每次执行系统调用时，都需要经历以下变化：
- CPU 保存用户态指令，切换为内核态
- 在内核态下访问系统资源
- CPU 恢复用户态指令，切换回用户态
而之前的 user time 与 system time 分别就是对应 CPU 在用户态与内核态的运行时间。
上下文切换
当发生以下状况时，线程会被挂起，并由系统调度其他线程运行：
- 等待系统资源分配
- 调用sleep主动挂起
- 被优先级更高的线程抢占
- 发生硬件中断，跳转执行内核的中断服务程序
同个进程下的线程共享进程的用户态空间，因此当同个进程的线程发生切换时，都需要经历以下变化：
- CPU 保存线程 A 用户态指令，切换为内核态
- 保存线程 A 私有资源（栈、寄存器...）/li>
- 加载线程 B 私有资源（栈、寄存器...）
- CPU 恢复线程 B 用户态指令，切换回用户态
不同线程的用户态空间资源是相互隔离的，当不同进程的线程发生切换时，都需要经历以下变化：
- CPU 保存线程 A 用户态指令，切换为内核态
- 保存线程 A 私有资源（栈、寄存器...）
- 保存线程 A 用户态资源（虚拟内存、全局变量...）
- 加载线程 B 用户态资源（虚拟内存、全局变量...）
- 加载线程 B 私有资源（栈、寄存器...）
- CPU 恢复线程 B 用户态指令，切换回用户态
每次保存和恢复上下文的过程，都是在系统态进行的，并且需要几十纳秒到数微秒的 CPU 时间。当切换次数较多时会耗费大量的 system time，进而大大缩短了真正运行进程的 user time。
当用户线程过多时，会引起大量的上下文切换，导致不必要的性能开销。
线程调度
Linux 中的线程是从父进程 fork 出的轻量进程，它们共享父进程的内存空间。
Linux 的调度策略是抢占式的，每个线程都有优先级prirority的概念，并按照优先级高低分为两种：
- 实时进程（优先级 0~99）
- 普通进程（优先级 100~139）
每个 CPU 都有自己的运行队列 runqueue，需要运行的线程会被加入到这个队列中。
每个队列可以进一步细分为 3 个队列以及 5 种调度策略：
- dl_rq
- SCHED_DEADLINE 选择deadline 距离当前时间点最近的任务执行
- rt_rq —— 可以互相抢占的实时任务
- SCHED_FIFO 一旦抢占到 CPU 资源，就会一直运行直到退出，除非被高优先级抢占
- SCHED_RR 当 CPU 时间片用完，内核会把它放到队列末尾，可以被高优先级抢占
- cfs_rq —— 公平占用 CPU 时间的普通任务
- SCHED_NORMAL 普通进程
- SCHED_BATCH 后台进程
Linux 内核在选择下一个任务执行时，会按照该顺序来进行选择，也就是先从 dl_rq 里选择任务，然后从 rt_rq 里选择任务，最后从 cfs_rq 里选择任务。所以实时任务总是会比普通任务先得到执行。
实时进程的优先级总是高于普通进程，因此当系统中有实时进程运行时，普通进程几乎是无法分到时间片的。
nice 值
为了保证 cfs_rq 队列的公平性，Linux 采用完全公平调度算法 CFS Completely Fair Scheduler进行调度，保证每个普通进程都尽可能被调度到。
CFS 引入了 vruntime 作为衡量是否公平的依据：
- vruntime 与任务占用的 CPU 时间成正比
- vruntime 与任务优先级成反比（优先级越高vruntime增长越慢）
如果一个任务的 vruntime 较小，说明它以前占用 CPU 的时间较短，受到了不公平对待，因此该进程会被优先调度，从而到达所谓的公平性。
为了实现可控的调度，Linux 为普通进程引入了 nice 值的概念。其的取值其范围是 -20 ~ +19，调整该值会改变进程的优先级：prirority += nice。
与此同时 vruntime 计算也会受到影响：
进程的 nice 值越小, 优先级越高, 所能分到的运行时间也越多
当用户进程设置了一个大于 0 的 nice 值时，其用户态的运行时间将被统计为nice time 而不是 user time。简单来说，nice time 表示 CPU 花了多少时间用于运行低优先级的任务。
当 nice time 占比比较高时，通常是某些定时任务调度器导致的：它们会为后台任务进程设置一个较大的 nice 值，避免这些进程与其他线程争抢 CPU 资源。
软中断
中断就是一种插队机制，可以让操作系统优先处理一些紧急的任务。当硬件设备（例如，网卡）需要向 CPU 发出信号时（例如，数据已到达），就会产生硬件中断。
CPU 接收到中断时，会切换到内核态执行特定的中断服务，并且期间不允许其他中断抢占（关中断）。 当中断服务需要执行较长时间时，可能会导致且其他的中断得不到及时的响应。
为了提高中断处理效率，操作系统在之前的基础上把中断处理分成两部分：
- 上半部top half：在屏蔽中断的上下文中运行，用于完成关键性的处理动作
- 下半部bottom half：不在中断服务上下文中执行，主要处理不那么急迫但耗时的任务
内核在处理完中断上半部后，可以延期执行下半部，该机制被称为软中断softirq。 软中断处理的过程是不会关中断的，因此当有硬中断到来的时候，可以及时响应。
构成软中断机制的核心元素包括：
- 注册: 软中断状态寄存器irq_stat
- 处理: 软中断向量表softirq_vec
- 触发: 软中断守护线程daemon
- 中断关闭的情况下，设置软中断状态位irq_stat
- 如果调用者不在中断上下文（普通进程调用），那么直接唤醒daemon线程
- 检查irq_stat 是否存发生软中断事件
- 调用softirq_vec 中对应的软中断服务程序
- 再次检查irq_stat，如果发现新的软中断，就会唤醒ksoftrqd线程来处理
ksoftrqd 机制
我们知道 CPU 执行的优先级为：硬中断 > 软中断 > 普通进程。 这意味着：
- 一个软中断不会去抢占另一个软中断，只有硬件中断才可以抢占软中断
- 如果软中断太过频繁，用户进程可能永远无法获得 CPU 时间
为了保证公平性，内核为每个 CPU 都配置一个ksoftrqd线程。如果所有的软中断在短时间内无法被处理完，内核就会唤醒ksoftrqd处理剩余的软中断。以下面这张图为例：
- 网卡数据就绪，通过硬中断通知 CPU 进行处理
- 硬中断服务程序调用raise_softirq()触发软中断，唤醒daemon
- 硬中断服务程序退出后，daemon被唤醒开始处理软中断
- 遍历过一遍向量表后，daemon发现仍有未处理的软中断，唤醒ksoftrqd
- ksoftrqd获得 CPU 时间片后，继续处理未完成的软中断
由于 ksoftrqd 其实是一个 nice 值为 0 的普通线程，会进入 cfs_rq 参与调度，可以和普通进程公平地使用 CPU。
但如果 ksoftrirqd 长时间得不到 CPU，就会致使软中断的延迟变得很大，因此 ksoftirqd 的实时性是很难得到保障。
典型问题是 ping 延迟：如果 ping 包无法在软中断里得到处理，就会被 ksoftirqd 处理，导致 ping 延迟变得很大。
中断的影响
硬中断的优先级很高，但是需要的 CPU 时间极少。当出现大量硬中断时，可能会引起较多的 CPU 用户态与内核态的切换，但是interrupt time不会显著上升。
此外，由于部分内核代码是不可重入的（例如，修改寄存器），其执行过程不能打断。因此这些代码的执行过程中，会屏蔽掉硬中断。
关中断的操作在内核里随处可见，这反过来会给硬中断带来一些影响。比如，进程关中断时间太长会导致网络报文无法及时处理，进而引起业务性能抖动。
而软中断的执行时间如果太长，就会给用户线程带来延迟，如果 softirq time 很大则很可能意味着用户线程会受到影响。
网络 IO 频繁的应用机器的 softirq time 通常会比较高，可能存在网络连接数过多，或者网络流量过大的情况，
ksoftirqd 的优先级与用户线程是一致的，因此，如果软中断处理函数是在 ksoftirqd 里执行的，那它可能会有一些延迟。
时间窃取
在 GNU top命令中，steal time定义为 “虚拟机管理进程 hypervisor 从 VM 窃取的时间”。 该概念是Xen，KVM，VMware 等社区或者厂商推广到Linux社区的。
当系统管理进程和 VM 尝试占用同一物理 CPU 核 pCPU 时，会导致 VM 的虚拟 CPU vCPU 可用的处理器时间减少，从而造成 VM 性能下降。
中虚拟化环境中，可能发生时间窃取的一些情况：
- 多个高负载 VM 的vCPU 的运行在同个pCPU 上（公有云的 CPU 超卖）
- VM 的vCPU 与线程绑定在了某个特定的pCPU 上，导致虚拟主机vhost 进程处理 I/O 时从这些vCPU 上窃取时间
- 虚拟机监控程序进程（例如监视，日志记录和I/O进程）与 VM 争抢pCPU