Spark local[*] 示例

问题描述 投票:0回答:0

我是 pyspark 的新手。我了解到 local[*] 在本地运行 Spark,其工作线程数与机器上的逻辑内核数一样多。任何人都可以详细解释一下,这是什么意思? 例如,如果我有一个 spark 作业并且我将它运行为 “spark-submit --master local[2] spark_example.py” 那么它将有一个执行者运行这个任务,这个执行者将使用 2 个线程来执行这个任务? 并且每个线程都会使用一个核心的cpu?我的理解对吗?

有人能澄清一下吗?

另外,在上述情况下,我如何确认我的 spark 是否真的使用了 2 个线程?

apache-spark pyspark spark-submit
© www.soinside.com 2019 - 2024. All rights reserved.