Spark Shell使用spark-defaults.conf将多个驱动程序/容器添加到Classpath

问题描述 投票:0回答:1

我们正在使用Spark-Shell REPL模式来测试各种用例并连接到多个源/接收器

我们需要在spark-defaults.conf文件中添加自定义驱动程序/罐,我试图添加多个以逗号分隔的罐

like

spark.driver.extraClassPath = /home/sandeep/mysql-connector-java-5.1.36.jar 
spark.executor.extraClassPath = /home/sandeep/mysql-connector-java-5.1.36.jar

但是它不起作用,任何人都可以提供正确语法的详细信息

scala apache-spark properties classpath
1个回答
0
投票

作为一个示例,除了Prateek的答案,我还通过在客户端模式下启动spark-defaults.conf会话时将以下内容添加到要加载的spark-shell文件中而获得了一些成功。

© www.soinside.com 2019 - 2024. All rights reserved.