自动将罐子包含到PySpark类路径中

Question

我正在尝试将jars自动包含到我的PySpark类路径中。现在，我可以键入以下命令，它可以正常工作：

$ pyspark --jars /path/to/my.jar

我想默认包含该jar，以便我只能键入pyspark并在IPython Notebook中使用它。

我已经阅读到可以通过在env中设置PYSPARK_SUBMIT_ARGS来包含自变量：

export PYSPARK_SUBMIT_ARGS="--jars /path/to/my.jar"

很遗憾，以上操作无效。我收到运行时错误Failed to load class for data source。

运行Spark 1.3.1。]

编辑

使用IPython Notebook时的解决方法如下：

$ IPYTHON_OPTS="notebook" pyspark --jars /path/to/my.jar

我正在尝试将jars自动包含到我的PySpark类路径中。现在，我可以键入以下命令，它可以正常工作：$ pyspark --jars /path/to/my.jar我想将该jar包含在...

Answer 1

您可以将jar文件添加到spark-defaults.conf

Answer 2

据我所知，您必须将jar导入到两个驱动程序AND

Answer 3

自从使用Spark 2.0+以来的推荐方法spark.driver.extraLibraryPath和spark.executor.extraLibraryPath