使用nvidia-smi获取内存消耗最大的进程的PID

Question

目前，我有一个bash脚本，总结了所有进程的vram使用情况。

nvidia-smi | awk '{print $6}'| awk '{ SUM += $1} END { print SUM }'

但是现在我要获取使用最多VRAM的进程的PID。之后，我想使用[

来获得PID的用户

ps -u -p $pid

目前编辑我的nvidia-smi看起来像这样：我想获取PID 29187，因为此PID使用了最多的vram（3649MB）

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.33.01    Driver Version: 440.33.01    CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce RTX 208...  On   | 00000000:01:00.0  On |                  N/A |
| 35%   43C    P8    36W / 250W |   5012MiB / 11016MiB |     15%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      5512      G   /usr/lib/xorg/Xorg                           257MiB |
|    0      5786      G   kwin_x11                                      77MiB |
|    0      5790      G   /usr/bin/krunner                               6MiB |
|    0      5800      G   /usr/bin/plasmashell                         114MiB |
|    0     26439      G   /usr/lib/xorg/Xorg                            73MiB |
|    0     26457      G   /usr/bin/sddm-greeter                        132MiB |
|    0     29154    C+G   .../Binaries/Linux/CarlaUE4-Linux-Shipping   619MiB |
|    0     29187      C   python                                      3649MiB |
|    0     29999      G   /opt/ros/melodic/lib/rviz/rviz                62MiB |
+-----------------------------------------------------------------------------+

或者作为图像：https://i.stack.imgur.com/ypVza.png

这两个答案都非常有帮助，但我正在努力使用户摆脱困境。

目前，我的bash脚本现在看起来像这样：

blame_and_shame() {
echo blame user
ps -u -p $1

}

nvidia-smi | awk 'NR>14{SUM+=$6} NR>14 && 0+$6>MAX{MAX=0+$6;MAXSTRING=$6;MAXPID=$3} END{if (SUM < 8000) printf"used vram = " SUM "\n"; else blame_and_shame MAXPID;}'

如果使用的vram少于8gb，我要打印使用的vram的总和。这可行。如果使用了超过8GB的vram，我想打印pid的用户。但是我的责任归咎于羞耻什么都没印出来。无论是回声还是用户]

最终脚本在其中起作用。

sum=$(nvidia-smi | awk 'NR>14{SUM+=$6} NR>14 && 
0+$6>MAX{MAX=0+$6;MAXSTRING=$6;MAXPID=$3} END{printf SUM;}')

maxpid=$(nvidia-smi | awk 'NR>14{SUM+=$6} NR>14 && 
0+$6>MAX{MAX=0+$6;MAXSTRING=$6;MAXPID=$3} END{printf MAXPID;}')

if [ $sum -gt 80000 ]
then
    echo avail vram  $sum 
else 
    user=$(ps -u -p $maxpid| awk '{print$1}'| awk 'FNR == 2 {print}')
    echo false, $user is responsible
    echo
fi

Answer 1

您可以合并两个awk语句，并解决将Driver Version:中的数字加到总数中的问题，如下所示：

nvidia-smi | awk 'NR>14{SUM+=$6}END{print SUM}'

仅在大于第14行（您关心的数据所在的地方）时才考虑该行。

添加一些逻辑以获取最大值并打印出该过程：

nvidia-smi | awk 'NR>14{SUM+=$6} NR>14 && 0+$6>MAX{MAX=0+$6;MAXSTRING=$6;MAXPID=$3} END{print SUM,MAXPID,MAXSTRING}'

将打印出总和，具有最大GPU内存使用率的PID和该内存使用率。

尽管如果GPU Memory Usage可以切换单位（例如在MiB和KiB之间切换），则此操作会失败。

Answer 2

为了更有效地解析所有SI度量单位KiB和GiB，您可以执行以下操作。这需要GNU awk用于数组排序功能

awk '
$6 ~ /[M|K|G]iB/ {
    if ( index( $6, "KiB" ) ) { gsub(/[^0-9]/, "", $6); ram = ($6+0) * 1024 }
    if ( index( $6, "MiB" ) ) { gsub(/[^0-9]/, "", $6); ram = ($6+0) * 1024 * 1024 }
    if ( index( $6, "GiB" ) ) { gsub(/[^0-9]/, "", $6); ram = ($6+0) * 1024 * 1024 * 1024 }
    usage += ram
    map[$3] = ram
}
END {
    PROCINFO["sorted_in"]="@val_num_desc"
    printf "Total RAM Usage = %s\n",((usage/1024)/1024)"MiB"
    for (i in map) {
        printf "Highest RAM Usage PID = %d Value = %s\n", i, ((map[i]/1024)/1024)"MiB"
        break
    }
}'