如何解析纱线日志以获取性能指标？

Question

bounty到期在1小时内。该问题的答案有资格获得+ 50声望赏金。Peter Krauss正在寻找规范答案：

Any Perl，awk等脚本作为parse / filter / compiler，或解析Yarn日志的任何开源复杂软件。

摘要：yarn logs -applicationId myID | parse我需要一些东西。

我正在开发具有某种程度的并行性的代码，所以我需要有关vcores和所用RAM内存的反馈...我具有每个测试的应用程序ID，因此，运行后我可以使用]]

 yarn logs -applicationId application_1581298836342_95477 > myYarnLog.txt
但是它是一个庞大而复杂的日志，我只需要检查vcores

和使用的内存。

myYarnLog.txt是否有一个解析器，用于过滤或计算性能指标？

---

PS：“ RAM内存”可以是“聚合资源分配”，vcores

可以是一些虚拟CPU分配统计信息，等等。

摘要：我需要一些东西来记录日志-applicationId myID |解析。我正在开发具有某种程度的并行性的代码，因此我需要有关所使用的vcore和RAM内存的反馈...我有...

Answer 1

在您的纱线site.xml中，类似于here