Apache Livy 会话显示应用程序 id NULL

问题描述 投票:0回答:1

每当我尝试获取在 GCP Dataproc 集群上运行的 livy 应用程序的状态时,它总是返回空值,无论我在 livy.conf 中更改了什么,这让我很烦恼,

我尝试了相同的解决方案但没有运气, 为什么 Apache Livy 会话显示应用程序 id NULL?

我的livy.conf文件,我使用的是0.8.0版本

livy.spark.deploy-mode = cluster
livy.server.session.timeout=1h
livy.environment production
livy.superusers dataproc,livy
livy.impersonation.enabled true
livy.server.yarn.app-lookup-timeout = 600s
livy.server.yarn.app-leakage.check_timeout = 600s
livy.server.yarn.app-leakage.check_interval = 600s
livy.server.yarn.app-leakage.check-timeout = 600s
livy.server.yarn.app-leakage.check-interval = 600s
livy.server.csrf-protection.enabled false
livy.spark.scala-version=2.12

输出我在 Jupyter Notebook 中得到的内容

任何能够在 livy 设置中查看应用程序详细信息的 livy 专家可以帮助我吗?

apache-spark google-cloud-platform google-cloud-dataproc livy
1个回答
0
投票

我认为你需要为

livy.spark.master

设置一个值

默认为本地模式,需要将其设置为你正在使用的资源管理器(例如yarn)

© www.soinside.com 2019 - 2024. All rights reserved.