1. 为什么每个运维人都绕不开 top 这个命令刚入行那会儿服务器一出问题带我的师傅第一句话永远是先 top 看一眼。当时觉得这命令界面花花绿绿、数字跳来跳去远不如ps aux来得清爽。直到有一次线上服务响应变慢ps翻了三页也没看出谁在捣乱师傅敲了个top按了一下P排在第一的那个进程 CPU 占了 380%问题瞬间定位。从那天起我才明白top不是另一个查看进程的命令它是 Linux 系统里少有的、能让你实时看到系统呼吸状态的动态监视工具。top的全称是 Table of Processes直译就是进程表格。它和ps最大的区别在于动态两个字ps是拍一张照片top是录一段视频。默认情况下top每 3 秒刷新一次把 CPU、内存、负载、进程状态这些关键指标滚动呈现出来。对于排查性能问题、定位资源占用大户、观察系统负载趋势这类工作top几乎是第一入口。不管你是刚接触 Linux 的新手还是天天跟服务器打交道的运维老手把这个命令吃透等于给自己配了一副随时能用的系统听诊器。这篇文章不打算把 man 手册翻译一遍那种做法网上到处都是。我想做的是把top拆成几个真正有用的模块先讲清楚它界面上每一块数字到底代表什么再讲交互操作里那些能救命的快捷键然后是批处理模式这种被很多人忽略的实战利器最后聊聊排序、过滤、字段定制这些进阶玩法以及我自己踩过的几个坑。看完之后你应该能做到服务器一卡打开top三秒内判断出是 CPU 问题、内存问题还是 IO 问题并且能精确锁定到具体进程。2. 读懂 top 界面那些数字到底在说什么2.1 顶部统计区五行信息里的系统全貌top界面最上面有五行内容很多人扫一眼就过去了其实这五行是判断系统整体健康度的核心。我按顺序拆开讲。第一行是top - 14:32:01 up 45 days, 3:21, 2 users, load average: 0.52, 0.68, 0.71。这里14:32:01是当前系统时间up 45 days表示这台机器已经连续运行了 45 天2 users是当前登录用户数。重点是最后的load average三个数字分别代表过去 1 分钟、5 分钟、15 分钟的平均负载。负载这个指标容易被误解它不是 CPU 使用率而是处于可运行状态和不可中断状态的进程平均数。简单说如果一台 4 核机器负载是 4.0说明 CPU 刚好被跑满如果负载是 8.0说明有大量进程在排队等 CPU。判断标准是负载值除以 CPU 核心数结果持续大于 1 就要警惕。三个数字的趋势也很关键如果 1 分钟值远高于 15 分钟值说明负载正在快速上升可能是突发流量反过来则说明系统正在恢复。第二行是Tasks: 287 total, 2 running, 285 sleeping, 0 stopped, 0 zombie。这行告诉你系统里总共有多少进程、多少在运行、多少在睡眠、多少被停止、多少是僵尸进程。正常情况下 running 的数量应该接近 CPU 核心数如果 running 长期远大于核心数说明 CPU 竞争激烈。zombie 那一项要特别留意虽然偶尔出现一两个僵尸进程不算大事但如果持续增长说明有父进程没有正确回收子进程需要排查。第三行是 CPU 状态格式类似%Cpu(s): 12.3 us, 4.5 sy, 0.0 ni, 82.1 id, 0.8 wa, 0.0 hi, 0.3 si, 0.0 st。这里每个缩写都值得记住us是用户空间占用sy是内核空间占用ni是改变过优先级的进程占用id是空闲wa是等待 IO 完成的时间hi是硬中断si是软中断st是被虚拟机偷走的时间。实战中最需要盯的是三个us高说明应用本身在消耗 CPUsy高说明系统调用频繁可能是 IO 密集或锁竞争wa高说明磁盘 IO 是瓶颈。st这个指标在云服务器上尤其重要如果它明显大于 0说明宿主机资源被其他租户抢占了这时候你在自己机器上怎么优化都没用。第四行和第五行是内存和交换分区信息。KiB Mem : 16265984 total, 8234560 free, 3421568 used, 4609856 buff/cache这行里free是真正空闲的内存used是已使用buff/cache是内核用来缓存文件系统和块设备的内存。很多人看到free很小就慌了其实buff/cache是可以被随时回收的真正要关注的是available那一列新版top会显示它才是应用程序还能申请到多少内存的准确估计。KiB Swap那行同理如果 swap 的 used 持续增长说明物理内存已经不够用了系统开始用磁盘当内存性能会断崖式下跌。2.2 进程列表区每一列都是一条线索进程列表默认显示 12 列左右我挑几个最关键的讲。PID是进程号USER是运行用户PR和NI是优先级和 nice 值VIRT、RES、SHR是三种不同的内存占用口径S是进程状态%CPU和%MEM是占用百分比TIME是累计 CPU 时间COMMAND是命令名。这里最容易搞混的是VIRT、RES、SHR这三个内存指标。VIRT是虚拟内存包括进程申请的所有地址空间哪怕还没真正分配物理页RES是常驻内存是进程实际占用的物理内存SHR是共享内存是可能和其他进程共享的部分。判断一个进程真实吃多少内存看RES最准但要注意RES里也包含了SHR所以多个进程如果共享了大量库文件把它们的RES直接相加会高估实际占用。我一般用RES - SHR来估算进程独占的物理内存。%CPU这一列也有讲究。在默认的 Irix 模式下%CPU是进程自上次刷新以来占用的 CPU 时间百分比多核机器上这个值可以超过 100%。比如一个进程在 4 核机器上跑满 4 个核%CPU会显示 400%。如果你看到某个进程%CPU是 200%别惊讶它只是用了两个核而已。TIME是进程启动以来累计消耗的 CPU 时间精确到百分之一秒这个值在排查哪个进程长期占用 CPU时比%CPU更有参考价值因为它不受刷新瞬间的影响。S列的状态码需要记住几个R是运行中S是可中断睡眠最常见等待事件D是不可中断睡眠通常在等 IO这个状态多了说明 IO 有瓶颈Z是僵尸T是停止。如果D状态的进程很多配合前面wa值高基本可以确定磁盘 IO 是瓶颈。3. 交互操作让 top 从能看变成好用3.1 排序与刷新把最该看的顶上来top默认按 CPU 占用排序但很多时候我们关心的不是 CPU。这时候交互快捷键就派上用场了。按P按 CPU 排序按M按内存排序按T按累计 CPU 时间排序按N按 PID 排序。这几个键我几乎每次用top都会按尤其是M排查内存泄漏的时候按一下M吃内存最多的进程立刻排到最上面。刷新频率也可以调。默认 3 秒按d然后输入数字可以改成任意秒数比如输入1就是每秒刷新。排查瞬时峰值的时候我会改成 1 秒观察趋势的时候会改成 5 秒减少干扰。还有一个技巧是按s可以开启安全模式这时候刷新间隔会变成你指定的值但不会因为你的输入而暂停刷新。按空格可以立即手动刷新一次这个在等待某个操作结果时很有用。按q退出按h调出帮助帮助里列了所有可用快捷键忘了哪个键的时候按h查一下比翻文档快。3.2 过滤与查找从几百个进程里捞出目标一台跑了几百个进程的服务器光靠排序还不够得会过滤。按u然后输入用户名可以只看某个用户的进程比如u然后输入www-data就只看 Web 服务的进程。按o或O可以按任意字段过滤比如输入%CPU10就只显示 CPU 占用超过 10% 的进程输入COMMANDnginx就只显示命令名包含 nginx 的进程。这个功能比grep强的地方在于它是实时过滤进程状态变化时列表会自动更新。查找用/键输入关键字后top会高亮匹配的进程并跳转过去按n跳到下一个匹配按N跳到上一个。这个在进程名很长、列表滚动很快的时候特别好用。还有一个隐藏技巧按i可以切换是否显示空闲进程。默认top会显示所有进程包括那些 CPU 和内存占用都是 0 的睡眠进程。按一下i这些空闲进程就被隐藏了列表瞬间清爽很多。我排查问题时第一件事就是按i把噪音过滤掉。3.3 字段定制与显示控制打造自己的监控面板top的进程列表字段是可以定制的。按f进入字段管理界面这里列出了所有可用字段带*的是当前显示的。用方向键移动按d或空格切换显示/隐藏按s可以把某个字段设为排序依据按a或w调整字段顺序。我习惯把SWAP、CODE、DATA这些字段关掉把RES、%MEM、TIME往前排这样一屏能看更多有用信息。按z可以开启彩色显示不同状态和占用级别的进程会用不同颜色标出来红色通常代表高占用一眼就能看到。按b可以加粗某些行配合x高亮排序列整个界面会清晰很多。这些显示选项在按W之后可以写入配置文件~/.toprc下次打开top就自动生效不用每次重新设置。W这个键值得单独说。它把当前所有的显示设置排序字段、显示字段、颜色、刷新间隔等保存到~/.toprc文件里。我一般会在调好一个顺手的界面后按一下W之后每次top都是这个配置。如果配置搞乱了想恢复默认删掉~/.toprc或者用top -w启动即可。4. 批处理模式把 top 变成可脚本化的数据源4.1 -b 与 -n非交互式采集top的交互模式适合人看但如果你想做自动化监控、定时采集、日志记录就需要批处理模式。加-b参数启动批处理模式top不再接受键盘输入而是把每次刷新的结果直接输出到标准输出。配合-n指定刷新次数比如top -b -n 1就是采集一次快照然后退出top -b -n 5就是采集 5 次。这个用法在写监控脚本时特别有用。比如你想每分钟记录一次系统负载和 CPU 占用最高的进程可以这样写top -b -n 1 -o %CPU | head -20 /var/log/top_monitor.log这里-o %CPU指定按 CPU 排序head -20取前 20 行包含头部统计和前几个进程。把这条命令放进 crontab就能持续记录系统状态出问题时翻日志比事后回忆靠谱得多。4.2 -d 与 -p控制节奏与聚焦目标批处理模式下-d参数控制刷新间隔单位是秒可以带小数。比如top -b -d 0.5 -n 10就是每 0.5 秒采集一次共采集 10 次。这个在抓瞬时峰值时很有用有些问题只持续几百毫秒默认 3 秒的间隔根本抓不到。-p参数可以指定只监控某些 PID多个 PID 用逗号分隔。比如top -b -n 1 -p 1234,5678就只看这两个进程。这个在已经定位到可疑进程、想持续观察它的时候特别方便输出干净没有其他进程干扰。-p也支持交互模式top -p 1234启动后只显示这一个进程按可以随时增减监控的 PID。还有一个-u参数按用户名过滤等价于交互模式里按u。top -b -n 1 -u mysql就只看 mysql 用户的进程。这几个参数组合起来top就从一个交互工具变成了一个灵活的数据采集器。4.3 批处理输出的解析技巧批处理模式的输出是纯文本但格式和交互模式略有不同解析的时候要注意。头部统计信息每次刷新都会重复输出进程列表的列宽是固定的。如果你要写脚本解析建议用-w参数指定输出宽度避免列被截断。比如top -b -n 1 -w 512会把输出宽度设为 512 字符长命令名就不会被截断了。解析进程列表时注意COMMAND列可能包含空格所以不能简单地按空格分割。稳妥的做法是用awk按固定列位置提取或者用-o只输出你关心的字段。新版top支持-o指定排序字段也支持在批处理模式下用-f定制字段这些都能让输出更规整、更好解析。5. 排序、过滤与字段定制的进阶组合5.1 多级排序与实时过滤的配合top的排序是单级的但你可以通过先过滤再排序实现类似多级的效果。比如你想找某个用户下内存占用最高的进程先按u过滤用户再按M排序结果就出来了。再比如你想找 CPU 占用超过 50% 且状态是 R 的进程先按o输入%CPU50再按o输入SR注意多次按o是叠加过滤条件列表就只剩符合条件的进程了。过滤条件支持比较运算符、、也支持正则表达式。比如COMMAND^java可以匹配所有以 java 开头的命令。这些过滤条件在批处理模式下用-o参数不太好表达所以复杂过滤还是建议在交互模式里做或者用top -b输出后用awk二次处理。5.2 自定义字段组合的实战价值默认字段组合不一定适合所有场景。排查 IO 问题时我会把SWAP、CODE、DATA关掉把RES、SHR、%MEM、TIME打开这样能快速看出哪个进程在大量读写内存。排查网络问题时虽然top不直接显示网络指标但可以通过观察%CPU的si软中断部分间接判断如果si很高通常是网络包处理消耗了大量 CPU。字段定制还有一个用途是减少输出体积。批处理模式下如果只关心 PID、CPU、内存、命令这四项可以用-f参数只保留这几个字段输出会小很多适合高频采集。具体做法是在交互模式里按f调好字段按W保存然后用top -b启动它会读取~/.toprc里的字段配置。5.3 颜色与高亮的实用配置颜色不只是好看它能加快信息识别速度。按z开启颜色后top会用红色标出高 CPU 或高内存的进程用不同颜色区分进程状态。按x可以高亮当前排序的列这样一眼就能看出列表是按哪个字段排的。按b可以加粗某些行我一般用来加粗 running 状态的进程。这些显示设置配合W保存后每次打开top都是你习惯的样子。团队里如果有多个人共用一台服务器每个人的~/.toprc是独立的互不干扰。如果想让所有用户用同一套配置可以把配置文件放到/etc/toprc不过这个需要 root 权限而且会影响所有用户一般不建议这么做。6. 那些年我在 top 上踩过的坑6.1 load average 高不等于 CPU 忙这是我早期最大的误解。有一次看到负载 8.0第一反应是 CPU 不够用赶紧去加核。结果加了核负载还是高后来才发现是磁盘 IO 卡住了大量进程处于D状态这些进程算在负载里但不消耗 CPU。所以看到负载高第一件事是看%Cpu(s)那一行的wa值如果wa很高问题在 IO 不在 CPU。第二件事是看进程列表里D状态的进程多不多多的话基本可以确认是 IO 瓶颈。6.2 %CPU 超过 100% 不是 bug新手看到%CPU显示 250% 会以为top出错了其实这是多核机器的正常表现。top默认的 Irix 模式下%CPU是相对于单核的百分比所以 4 核机器上跑满就是 400%。如果你更习惯总体 CPU 使用率的概念可以按I大写 i切换到 Solaris 模式这时候%CPU会除以核心数所有进程的%CPU加起来不会超过 100%。两种模式没有对错看个人习惯但要知道自己当前在哪个模式下。6.3 内存 free 少不代表内存不够Linux 的设计哲学是空闲的内存就是浪费的内存所以内核会尽可能把空闲内存用作文件缓存。这就是为什么free那一列经常很小但系统运行得好好的。判断内存是否真的紧张要看available那一列新版top有或者看 swap 的使用情况。如果 swap 的 used 持续增长同时available很小那才是真的内存不足。我见过有人因为看到free只有几百 MB 就重启服务其实完全没必要。6.4 批处理模式下的列宽陷阱用top -b采集数据时如果命令名很长COMMAND列会被截断显示成...或者直接截掉。这在解析日志时会导致进程识别错误。解决办法是加-w参数指定足够大的宽度比如-w 512。另外批处理模式下默认不显示COMMAND的完整路径如果需要完整命令可以用-c参数它会显示命令行而不是进程名。-c在交互模式下也有用按c可以切换显示完整命令行。6.5 僵尸进程不是杀不掉而是没人收尸僵尸进程的状态是Z它已经执行完毕但父进程没有调用wait()回收它的退出状态所以它一直留在进程表里。你没法直接kill一个僵尸进程因为它已经死了。正确的做法是找到它的父进程要么让父进程正常回收要么重启父进程。如果父进程也死了僵尸进程会被 init 进程接管并回收。所以看到僵尸进程别急着kill -9先看它的PPID是谁。7. 把 top 用成条件反射的几个习惯用久了top会形成一些条件反射式的操作习惯这些习惯能让你在排查问题时快人一步。第一个习惯是打开top先按i隐藏空闲进程再按M看内存再按P看 CPU三秒钟建立对系统状态的初步判断。第二个习惯是看到wa高就去看D状态进程看到si高就去查网络看到st高就知道是宿主机的问题。第三个习惯是调好一个顺手的界面后按W保存让每次打开都是熟悉的样子。还有一个习惯是善用批处理模式做基线记录。我会在服务器上放一个定时任务每小时用top -b -n 1记录一次系统快照保留最近一周的数据。这样当问题发生时我可以对比问题前后的系统状态看看是哪个指标先变化的。这个做法比事后凭记忆排查靠谱得多而且成本极低一条 crontab 加一个日志轮转就够了。top这个命令看起来简单但真正用透需要理解它背后反映的系统原理。CPU、内存、IO、负载这几个维度是相互关联的单独看任何一个指标都可能误判。多练、多看、多对比慢慢就能从一堆跳动的数字里读出系统的情绪。到那时候服务器再出问题你打开top的那一瞬间心里就有底了。
