每当我尝试获取在 GCP Dataproc 集群上运行的 livy 应用程序的状态时,它总是返回空值,无论我在 livy.conf 中更改了什么,这让我很烦恼,
我尝试了相同的解决方案但没有运气, 为什么 Apache Livy 会话显示应用程序 id NULL?
我的livy.conf文件,我使用的是0.8.0版本
livy.spark.deploy-mode = cluster
livy.server.session.timeout=1h
livy.environment production
livy.superusers dataproc,livy
livy.impersonation.enabled true
livy.server.yarn.app-lookup-timeout = 600s
livy.server.yarn.app-leakage.check_timeout = 600s
livy.server.yarn.app-leakage.check_interval = 600s
livy.server.yarn.app-leakage.check-timeout = 600s
livy.server.yarn.app-leakage.check-interval = 600s
livy.server.csrf-protection.enabled false
livy.spark.scala-version=2.12
输出我在 Jupyter Notebook 中得到的内容
任何能够在 livy 设置中查看应用程序详细信息的 livy 专家可以帮助我吗?
我认为你需要为
livy.spark.master
设置一个值
默认为本地模式,需要将其设置为你正在使用的资源管理器(例如yarn)