[不使用Dataproc将GCP（Big Query）连接到PySpark

Question

我正在尝试不使用Dataproc（房子中的自托管Spark）而将GCP（Google大查询）与Spark（使用pyspark）连接，如Google官方文档中列出的那样，它仅适用于Dataproc https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example吗？有什么建议吗？注意：我在Docker上的Spark＆Hadoop设置。谢谢

Answer 1

[请查看project page on GitHub-它详细说明了如何从代码中引用GCP凭据。

总之，您应该跑步

spark.read.format("bigquery").option("credentialsFile", "</path/to/key/file>").option("table", "<table>").load()

如果需要，请参考here如何创建json凭证文件。