pyspark 支持 Spark-salesforce 吗？

Question

我正在尝试使用 Spark 来处理我们在 salesforce 实例中保存的数据。我知道

simple-salesforce

python 库的存在，但前几天我遇到了

spark-salesforce

，我想知道 pyspark 支持它。我阅读了他们的存储库上的文档，他们只提供了 scala、java 和 R API 的示例，所以我想答案是“否”？请仔细检查此处，以防其他人之前使用过 pyspark

Answer 1

Spark 数据源 API 基于 JVM 实现。

您应该能够在使用

--packages

命令行选项运行 pyspark 时包含该包：

bin/pyspark --packages com.springml:spark-salesforce_2.11:1.1.3 

也就是说，我要在这个上放一个大警告...您引用的库已经有 4 年没有更新了，最后是为 Spark 版本 2.4.5 编译的。 （截至撰写本文时，Spark 的当前版本是 3.5.1）

因此，除非您有一个运行 2.x 的 Spark 集群，或者可以与某人合作分叉代码并将其更新为 3.x 代码库（请记住 4.0 计划于 6 月发布），否则我真的建议不要使用该库。