AWS EMR Livy会话状态已死

问题描述 投票:0回答:1

我正在使用带有Livy的EMR,但是Livy杀死了一些会话,是否有其他方法可以等待其他任务完成而不是终止这些会话?谢谢,

以下是这些杀死会话的输出:

警告:忽略非火花配置属性:maximumResourceAllocation = true19/04/23 12:07:11警告SparkConf:自Spark 2.3起,配置密钥'spark.yarn.executor.memoryOverhead'已被弃用,以后可能会删除。请改用新的密钥“ spark.executor.memoryOverhead”。19/04/23 12:07:11警告SparkConf:自Spark 2.3起,配置密钥'spark.scheduler.listenerbus.eventqueue.size'已被弃用,以后可能会删除。请改用新的密钥“ spark.scheduler.listenerbus.eventqueue.capacity”。19/04/23 12:07:11 WARN NativeCodeLoader:无法在适用的平台上使用内建的Java类为您的平台加载本机Hadoop库。19/04/23 12:07:12 INFO RMProxy:在ip-172-18-29-18.ec2.internal / 172.18.29.18:8032连接到ResourceManager19/04/23 12:07:13 INFO客户端:从具有4个NodeManager的集群中请求新的应用程序19/04/23 12:07:13 INFO客户端:验证我们的应用程序所请求的请求不超过群集的最大内存容量(每个容器491520 MB)19/04/23 12:07:13 INFO客户端:将分配AM容器,具有22000 MB的内存,包括2000 MB的开销19/04/23 12:07:13 INFO客户端:为我们的AM设置容器启动上下文19/04/23 12:07:13 INFO客户端:为我们的AM容器设置启动环境19/04/23 12:07:13 INFO客户端:为我们的AM容器准备资源19/04/23 12:07:14 WARN客户端:未设置spark.yarn.jars和spark.yarn.archive,而是回到SPARK_HOME下的上传库。19/04/23 12:07:16 INFO客户端:上传资源文件:/ mnt / tmp / spark-9e521492-1bdf-4115-a0d1-d3c278f7058f / spark_libs__3546840914405417444.zip-> hdfs:// ip-172-18 -29-18.ec2.internal:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / __ spark_libs__3546840914405417444.zip19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/livy/rsc-jars/netty-all-4.0.37.Final.jar-> hdfs:// ip-172-18 -29-18.ec2.internal:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / netty-all-4.0.37.Final.jar19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/livy/rsc-jars/livy-rsc-0.5.0-incubating.jar-> hdfs:// ip-172-18 -29-18.ec2.internal:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / livy-rsc-0.5.0-incubating.jar19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/livy/rsc-jars/livy-api-0.5.0-incubating.jar-> hdfs:// ip-172-18 -29-18.ec2.internal:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / livy-api-0.5.0-incubating.jar19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/livy/repl_2.11-jars/livy-core_2.11-0.5.0-incubating.jar-> hdfs:// ip -172-18-29-18.ec2。内部:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / livy-core_2.11-0.5.0-incubating.jar19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/livy/repl_2.11-jars/livy-repl_2.11-0.5.0-incubating.jar-> hdfs:// ip -172-18-29-18.ec2。内部:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / livy-repl_2.11-0.5.0-incubating.jar19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/livy/repl_2.11-jars/commons-codec-1.9.jar-> hdfs:// ip-172-18-29 -18.ec2.internal:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / commons-codec-1.9.jar19/04/23 12:07:17 INFO客户端:上传资源文件:/etc/spark/conf/hive-site.xml-> hdfs://ip-172-18-29-18.ec2.internal:8020 /user/livy/.sparkStaging/application_1556020828433_0008/hive-site.xml19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/spark/R/lib/sparkr.zip#sparkr-> hdfs://ip-172-18-29-18.ec2 .internal:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / sparkr.zip19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/spark/python/lib/pyspark.zip-> hdfs://ip-172-18-29-18.ec2.internal :8020 / user / livy / .sparkStaging / application_1556020828433_0008 / pyspark.zip19/04/23 12:07:17 INFO客户端:上传资源文件:/usr/lib/spark/python/lib/py4j-0.10.7-src.zip-> hdfs:// ip-172-18-29 -18.ec2.internal:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / py4j-0.10.7-src.zip19/04/23 12:07:17 INFO客户端:上传资源文件:/ mnt / tmp / spark-9e521492-1bdf-4115-a0d1-d3c278f7058f / __ spark_conf__8433272661836653995.zip-> hdfs:// ip-172-18-29 -18.ec2.internal:8020 / user / livy / .sparkStaging / application_1556020828433_0008 / __ spark_conf。zip19/04/23 12:07:17 INFO SecurityManager:将视图ACL更改为:Livy19/04/23 12:07:17 INFO SecurityManager:将修改ACL更改为:livy19/04/23 12:07:17 INFO SecurityManager:将视图ACL组更改为:19/04/23 12:07:17 INFO SecurityManager:将修改ACL组更改为:19/04/23 12:07:17 INFO SecurityManager:SecurityManager:身份验证已禁用; ui acls已禁用;具有查看权限的用户:Set(livy);具有查看权限的组:Set();具有修改权限的用户:Set(livy);具有修改权限的组:Set()19/04/23 12:07:17 INFO客户端:将应用程序application_1556020828433_0008提交到ResourceManager19/04/23 12:07:17 INFO YarnClientImpl:提交的应用程序application_1556020828433_000819/04/23 12:07:17 INFO客户端:application_1556020828433_0008的申请报告(状态:已接受)19/04/23 12:07:17 INFO客户端:客户令牌:N / A诊断:[Tue Apr 23 12:07:17 +0000 2019]已激活应用程序,等待为AM分配资源。详细信息:AM分区=;分区资源=;队列的绝对容量= 100.0%;队列的绝对使用容量= 93.24219%;队列的绝对最大容量= 100.0%;ApplicationMaster主机:N / AApplicationMaster RPC端口:-1队列:默认开始时间:1556021237796最终状态:未定义跟踪网址:http://ip-172-18-29-18.ec2.internal:20888/proxy/application_1556020828433_0008/用户:livy19/04/23 12:07:17 INFO ShutdownHookManager:称为Shutdown挂钩19/04/23 12:07:17 INFO ShutdownHookManager:删除目录/ mnt / tmp / spark-a5a3a313-9040-4c1c-b2d2-f51fd429064b19/04/23 12:07:17 INFO ShutdownHookManager:删除目录/ mnt / tmp / spark-9e521492-1bdf-4115-a0d1-d3c278f7058f

Blockquote

YARN诊断应用程序application_1556020828433_0008在172.18.29.18被用户livy杀死]

amazon-web-services apache-spark livy
1个回答
0
投票

[livy.server.session.timeout值过期后,无效的会话将被杀死。

使用以下属性在livy.conf中进行设置以配置会话超时

# Enabled to check whether timeout Livy sessions should be stopped.
# livy.server.session.timeout-check = true

# Time in milliseconds on how long Livy will wait before timing out an idle session.
# livy.server.session.timeout = 1h
#
# How long a finished session state should be kept in LivyServer for query.
# livy.server.session.state-retain.sec = 600s
© www.soinside.com 2019 - 2024. All rights reserved.