机器经常oom 与夯死,但没有进程监控,找不到哪个用的资源比较多,觉得试试 atop,没想到完美解决问题

atop是一款用于监控Linux系统资源与进程的工具,能够报告所有进程的活动。其以一定的频率记录系统和进程活动,采集的数据包含CPU、内存、磁盘、网络的资源使用情况和进程运行情况,并能以日志文件的方式保存在磁盘中。对于每个进程,会显示CPU使用率、内存增长、磁盘使用率、优先级、用户名、状态和退出码等。当机器出现问题后,您可以获取相应的atop日志文件进行分析。本文介绍如何在Linux实例中安装、配置并使用atop监控工具。

1 安装atop

1.1 执行如下命令,安装atop。

yum 安装的 atop 版本是2.7的,日志分割失效,建议从官网下载 rpm 包安装
可以点击这里下载对应的 rpm 包,注意系统版本,我这里用的 rocky 8
还有个日志保存天数问题,默认加 2,注意下

1
sudo yum install https://www.atoptool.nl/download/atop-2.10.0-1.el8.x86_64.rpm

2 配置并启动atop

  • LOGOPTS:用于控制日志文件记录选项,可以自定义日志文件的保存路径、命名规则、滚动周期以及其他与日志记录相关的选项。为空""表示不使用任何额外选项。
  • LOGINTERVAL:监控周期,建议将默认的监控周期600s修改为30s。
  • LOGGENERATIONS:日志保留时间,为避免atop长时间运行占用太多磁盘空间,建议将默认的日志保留时间28天修改为 5天。 这里用的find . -mtim +5来进行删除, 表示查找 5 天前修改的日志,不包括第五天,然后生成的日志最新时间是第二天 0 点,所以 写 5 是删除一周以前的日志
  • LOGPATH:指定atop日志文件的路径。默认值为/var/log/atop。
1
2
3
4
5
vim /etc/sysconfig/atop
LOGOPTS="-w /var/log/atop/atop_$(date +\%Y\%m\%d)"
LOGINTERVAL=90
LOGGENERATIONS=4
LOGPATH=/var/log/atop

2.1 启动atop服务。

1
2
sudo systemctl restart atop
sudo systemctl enable atop

3 分析atop日志

atop启动后,会将采集记录存放在/var/log/atop目录下的日志文件中。执行如下命令,查看日志文件。

1
atop -r /var/log/atop/atop_20240716 -l -b 13:00 -e 17:00

3.1 atop常用命令

打开日志文件后,您可以使用以下命令筛选数据。

  • g:切换回默认的综合输出视图。
  • c:显示进程列完整命令行。
  • l: 简化显示
  • m:按照进程内存使用率进行降序筛选。
  • d:按照进程磁盘使用率进行降序筛选。
  • a:按照进程资源综合使用率进行降序筛选。
  • n:按照进程网络使用率进行降序筛选。
  • j: 每个容器的总资源消耗
  • t:跳转到下一个监控采集点。
  • T:跳转到上一个监控采集点。
  • b:指定时间点,格式为YYYYMMDDhhmm。
  • e: 指定时间区间,与-b 配合

3.2 系统资源监控字段含义

下图为部分监控字段以及数值,具体数值根据采样周期有所不同。下图仅供参考,具体数据以您实际数据为准。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
ATOP - 10-1-1-1      2024/07/16  14:02:27      -----------------    80d22h2m18s elapsed
PRC | sys 5d15h | user 4d21h | #proc 1737 | #zombie 0 | #exit 0 |
CPU | sys 10% | user 9% | irq 2% | idle 774% | wait 4% |
CPL | avg1 0.21 | avg5 0.38 | avg15 0.41 | csw 548314e5 | intr 34394e6 |
MEM | tot 31.3G | free 5.7G | buff 5.2M | slab 2.8G | numnode 1 |
SWP | tot 0.0M | free 0.0M | swcac 0.0M | vmcom 8.2G | vmlim 15.6G |
LVM | tavg-lv_data | busy 5% | read 9272 | write 1353e5 | avio 2.68 ms |
LVM | rl-root | busy 0% | read 24578 | write 1474e4 | avio 1.98 ms |
LVM | rl-swap | busy 0% | read 145 | write 0 | avio 1.48 ms |
DSK | sdb | busy 5% | read 10214 | write 1336e5 | avio 2.72 ms |
DSK | sda | busy 0% | read 25972 | write 1311e4 | avio 2.23 ms |
NFM | 1934a878d544 | srv 10.1.1 | read 10.4M | write 3.2M | nread 52.4M |
NFM | 226453875267 | srv 10.1.1 | read 10.4M | write 3.2M | nread 52.4M |
NET | transport | tcpi 13619e5 | tcpo 14296e5 | udpi 22191e4 | udpo 16771e3 |
NET | network | ipi 159264e4 | ipo 160147e4 | ipfrw 2840e3 | deliv 1589e6 |
NET | lo ---- | pcki 11036e5 | pcko 11036e5 | si 315 Kbps | so 315 Kbps |
NET | eth0 ---- | pcki 47821e4 | pcko 46149e4 | si 256 Kbps | so 216 Kbps |
PID CID SYSCPU USRCPU VGROW RGROW RDDSK WRDSK CPU CMD 1/87
318634 host-------- 51h57m 15h40m 2.0G 136.3M 28.0K 214.0M 3% kubelet
283409 host-------- 10h45m 37h15m 1.8G 846.4M 0B 119.9M 2% kube-apiserver
274396 host-------- 6h23m 10h44m 9.9G 134.9M 0B 408.7G 1% etcd
304980 780e3ae15b3f 3h13m 5h27m 860.4M 159.9M 56.0K 20.0K 0% cilium-agent
288977 babbbf621f60 60m21s 7h14m 1.0G 252.3M 0B 19.8M 0% argocd-applica

主要参数说明如下:

参数 说明
Atop行 主机名、信息采样日期和时间点。
PRC行 进程整体运行情况。
Sys、user:分别代表进程在内核态和用户态的运行时间。
#proc:进程总数。
#trun:处于running状态进程数。
#tslpi:处于sleeping Interruptible状态的进程数。
#tslpu:处于sleeping Uninterruptible状态的进程数。
#zombie:僵死进程的数量。
#exit:atop采样周期内退出的进程数。
CPU行 Cpu整体的使用情况,即多核cpu作为一个整体cpu资源的使用情况。cpu行各个字段数字相加结果为n*100%,其中n为cpu的核数。
Sys、user:cpu在用于处理进程时,进程在内核态及用户态所占cpu的时间比例。
Irq:cpu用于处理中断的时间比例。
Idle:cpu处在完全空闲状态的时间比例。
Wait:cpu处在进程等待磁盘io导致cpu空闲状态的时间比例。
CPL行 Cpu负载情况。
Avg1、avg5和avg15:分别代表过去1分钟、5分钟和15分钟内运行队列中的平均进程数量。
Csw:上下文切换次数。
Intr:中断发生次数。
MEM行 内存的使用情况。
Tot:物理内存总量。
Free:空闲内存的大小。
Cache:用于页缓存的内存大小。
Buff:用于文件缓存的内存大小。
Slab:系统内核占用的内存大小。
SWP行 交换空间的使用情况。
Tot:交换区总量。
Free:空闲交换空间大小。
LVM行 LVM情况。
rl-root,vg+lv对应名称,剩下信息与DSK行一样。
DSK行 磁盘使用情况,每一个磁盘设备对应一列,如果有vdb设备,那么将会增加一行dsk信息。
sdb:磁盘设备标识。
Busy:磁盘处于busy状态的时间比例。
Read、write:分别代表读、写请求数量。
NFM行 nfs 挂载信息
NET行 多列net展示了网络状况,包括传输层tcp和udp、ip层以及各活动的网口信息。
si:各层或活动网口接收包大小。
so: 各层或活动网口发送包大小。