zombie zeppelin-spark流程的来源是什么？

Question

当你有多个人使用Zeppelin（0.7.3）笔记本在集群上制作原型时，你最终可能会在驱动程序上使用大量的zombie processes。

这看起来像这样的一个例子：

[username@usg-kov-e1b-mas001 ~]$ ps -aux | grep zeppelin
...
username  15163  0.0  0.0 783244 112076 ?       Sl   Aug29   0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-294731840633169153.py 46864 10603
username  16364  0.0  2.3 4637180 2859000 ?     Sl   Aug29   1:30 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-4967700381049549623.py 34141 10603
username  17328  0.0  0.0 572336 68892 ?        Sl   Aug29   0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5558242373873465119.py 43031 10603
username  23360  0.3  0.2 1029820 347676 ?      Sl   17:37   0:35 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5094022153210101706.py 35280 10603
username  26414  0.0  0.0 571972 68624 ?        Sl   Aug29   0:14 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-1324142653437864728.py 46682 10603
username  28850  0.0  0.0 572332 68804 ?        Sl   19:23   0:01 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-6914433048347435534.py 34529 10603
...

你可以看到他们随着时间的推移积累起来他们中的大多数只花了一两分钟的CPU时间，但它们并没有消失。随着时间的推移，我看到他们咀嚼了10％或更多的可用内存。

这些来自哪里？什么未能清理这些？有没有什么（除了流程谋杀的cron-job）我能做到消除它们？

Answer 1

您可以尝试TimeoutLifecycleManager，如果它在配置的阈值空闲时将终止解释器