获取纱线应用程序的内存,CPU和磁盘使用情况

问题描述 投票:2回答:2

我想问一下,在我运行了Yarn应用程序之后,如何获得该应用程序的总内存和CPU使用率。

我曾经使用资源管理器UI来获取所有信息。但是,除了可以从用户界面中获取这些信息之外,我可以用来获取信息的命令。

memory mapreduce cpu-usage yarn
2个回答
4
投票

使用yarn application -status命令,您可以获得应用程序的Aggregate Resource Allocation

例如当我输入yarn application -status application_1452267331813_0009(对于我已完成的应用程序之一)时,返回的行之一是:

Aggregate Resource Allocation : 46641 MB-seconds, 37 vcore-seconds

这将以秒为单位提供总计的内存和CPU分配。您可以检查以下答案:Aggregate Resource Allocation for a job in YARN,以了解此输出的含义。

除此之外,到目前为止,没有通过CLI公开的其他与内存或CPU相关的指标。


0
投票

命令yarn top提供应用程序级别的资源利用率和运行时间。

请参见此线程以了解如何将输出传递到文件https://stackoverflow.com/a/53782200/12693167

-帮助信息:

用途:纱顶

-cols终端上的列数

-delay刷新延迟(以秒为单位,默认为3秒]

-帮助打印用法;在工具运行时寻求帮助,请按'h'+ Enter

-用逗号分隔的队列列表以限制应用程序

-行终端上的行数

-types用逗号分隔的类型列表以限​​制应用程序,区分大小写(尽管显示为小写)

-用户逗号分隔的用户列表以限制应用程序

'yarn top'是一个工具,可以帮助群集管理员更好地了解群集使用情况。有关实现的一些注意事项:

  1. 获取所有应用程序的信息对于RM来说是一个昂贵的电话。为防止性能下降,结果会缓存5秒钟,与延迟值无关。有关NodeManager和队列的信息利用率统计信息以指定的延迟间隔获取。一旦我们有一个更好地了解性能影响,这可能会发生变化。

  2. 由于该工具是用Java实现的,因此必须按Enter键才能按被处理。

© www.soinside.com 2019 - 2024. All rights reserved.