Spark执行程序在作业执行后未释放内存

问题描述 投票:0回答:1

我已经在Kubernetes上设置了一个spark集群,并创建了一个我在其中初始化spark上下文的应用程序,它是一个多线程应用程序。现在,我创建了四个具有4gb ram和4个内核的执行程序,当我提交我的spark作业时,执行程序消耗了一些内存,现在在完成工作后它没有释放执行程序的内存。我也尝试了sqlContext.clearCache()和spark.catalog.clearCache()。但是执行者仍然没有释放内存。我已经尝试通过关闭执行程序来进行尝试,但是我正在寻找其他一些不需要停止执行程序的解决方案,这样我就可以在不停止执行程序的情况下释放执行程序的内存。

apache-spark kubernetes cluster-computing executor
1个回答
0
投票

您可以确定要停止spark / sqlcontext(sparkContext.stop)

© www.soinside.com 2019 - 2024. All rights reserved.