如何在纱线模式下访问Spark Web UI

Question

我正在作为AWS EMR步骤运行pyspark作业，该脚本需要花费超过15分钟的时间来运行。我在EMR群集中有1个主节点和3个核心节点。我想找出原因以及脚本的哪一部分需要花费很长时间。为此，我想查看Spark Web UI。当我在Yarn UI（端口8088）中单击“ Tracking URL：Applicationmaster”时，我的浏览器一直在旋转，并且无法显示Spark UI。浏览器中的URL链接为：

http://ip-172-31-x-x.ec2.internal:20888/proxy/application_1579701541309_1029/

这显然是私有DNS。即使这是我暂时进行故障排除，如何查看Spark UI。如果需要，我可以更改AWS Security组。后来，当我在生产环境中时如何处理？

谢谢

Answer 1

@ netrocks我想您确实解决了问题，但是仅出于其他目的，我发布了如何访问EMR UI来查看计划和其他调试信息的信息

• 转到终端并与主节点建立SSH隧道：ssh -i ~/.ssh/emr -ND 8157 [email protected]（适用于Mac）
• 下载Firefox
• 如下更改Firefox设置
  • Firefox ==>首选项==>设置==>手动代理配置
  • 在Socks主机中：127.0.0.1。端口：8157
  • 选择袜子V5
  • 复选框“使用SOCKS v5时的代理DNS”
• 现在登录到AWS控制台并转到EMR（从Firefox）
• 单击群集
• 单击要连接的集群
• 单击查看群集详细信息
• 然后您会看到“ Spark History Server”链接已激活
• 单击它，您将获得所需的视图。