我可以将 Google Dataproc 中的 Spark Master 公开给 Cloud Run 上运行的另一个服务吗？

Question

我将我的应用程序部署为 Cloud Run 服务，其功能之一是使用可适当配置的

spark://<spark-master-url>:7077

形式的 url 将 Spark 作业提交给 Spark Master。

我已经使用 Dataproc 成功设置了 Spark 集群，但显然 Spark Master 没有公开暴露，并且没有我可以使用的像上面这样的 url。

有没有办法将 Spark Master 公开给我的 Cloud Run 应用程序，以便它可以向其发送作业？任何帮助将不胜感激。

Answer 1

查看启用组件网关是否可以解决此问题。 https://cloud.google.com/dataproc/docs/concepts/accessing/dataproc-gateways