如何关闭spark实例

Question

一旦完成在 Jupyter Notebook 上运行的工作，我想在此处停止 Spark 实例。 我最后确实执行了

spark.stop()

，但是当我打开终端时，我仍然看到spark进程在那里

ps -ef | grep spark

所以每次我都必须手动杀死spark进程ID。有人知道如何解决这个问题吗？谢谢！！

spark = SparkSession.builder \
    .master("local") \
    .appName("Test") \
    .config("spark.executorEnv.PYTHONPATH", "pyspark.zip:py4j-0.10.7-src.zip")\
    .config('spark.jars','/Users/xxx/Documents/snowflake-jdbc-3.12.8.jar,/Users/xxx/Documents/spark-snowflake_2.11-2.7.2-spark_2.4.jar') \
    .config('spark.jars.packages','org.apache.hadoop:hadoop-aws:2.7.3') \
    .getOrCreate()

Answer 1

尝试关闭sparkContext而不是spark会话。 您可以尝试以下操作：

sc.stop()

或

spark.sparkContext.stop()

比你能做的

spark.stop()

Answer 2

我很幸运地结束了正在运行的会话：

exit()

Answer 3

有人遇到这个问题吗？周围没有解决答案...