如何在spark shell中启用或获取跟踪URL?

问题描述 投票:1回答:2

当我提供spark-shell或Spark-shell --master yarn时,我在控制台上找不到跟踪Url。

假设我已经更改了执行程序和执行程序内存的数量,我想使用跟踪URL验证这些更改。

如果我知道如何获取此跟踪网址,将会很有帮助

apache-spark hadoop yarn
2个回答
4
投票

您可以通过编程方式获取SparkUI URL:

val url = spark.sparkContext.uiWebUrl

0
投票

如果你正在使用纱线,

  1. 转到CM中的纱线应用程序。
  2. 你会发现你的火花壳列出来了。单击您的应用程序
  3. 您将找到跟踪网址:ApplicationMaster这是您要查找的网址。如果这回答了您的问题,请告诉我。
© www.soinside.com 2019 - 2024. All rights reserved.