在RDD上进行计算之前，为每个Spark执行程序指定初始化

Question

我想确保此类类/静态块尽早在每个JVM中初始化，因为它假设是（为了正常工作），

// java
class SecurityInitializer {
    static {
        Security.addProvider(myprovider);
    }
}

// Equivalent in Scala, use companion object to get something similar to static block in Java
object SecurityInitializer {
    Security.addProvider(myprovider)
}

我知道在驱动程序中很容易做到这一点，但是理想情况下如何在创建sparkcontext之前强制该代码在executor中运行？

在Scala中寻找答案，但欢迎提出任何建议。

Answer 1

现在确定是官方用例，从2.4开始，名称是ExecutorPluginhttps://issues.apache.org/jira/browse/SPARK-24918