spark.streaming.concurrentJobs行为

问题描述 投票:0回答:1

streaming.concurrentJobs未记录,当我们要在系统中添加并行时使用。因此可以同时处理来自同一kafka主题的多个微型批次。 (如果我理解正确)

我的问题是,这是否意味着在执行程序级别会运行多个线程?例如,我们通常假设在“ foreachpartition”中运行的所有内容都只有一个线程,并且不执行线程安全锁定,但是如果将spark.streaming.concurrentJobs设置为> 1,我们应该注意线程安全吗?因为多线程将同时为同一分区运行?

multithreading apache-spark concurrency
1个回答
0
投票

谢谢,我对并发更多地了解> 1种情况,我是否需要担心线程安全来处理分区?是否有多个线程在同一个分区上运行,并且如果需要,我们需要确保线程安全吗?或者我们可以假设每个分区都在单线程中执行

© www.soinside.com 2019 - 2024. All rights reserved.