可以从本地数据库获取GCP Dataproc sqoop数据（或运行其他作业）吗？

Question

GCP Dataproc sqoop可以从本地数据库导入数据到GCP存储（没有GCP VPC）吗？

我们有一个远程Oracle数据库通过VPN隧道连接到我们的本地网络，我们使用Hadoop集群通过Apache Sqoop从每天提取数据。希望用GCP Dataproc集群替换此过程以运行sqoop作业和GCP存储。发现这篇文章似乎做了类似的Moving Data with Apache Sqoop in Google Cloud Dataproc，但它假设用户有GCP VPC（我不打算购买）。

所以我的问题是：

• 如果没有此VPC连接，云数据集群是否知道如何使用job submission API从本地网络上的数据库获取数据？
• 如果是这样，这将如何工作（也许我对Hadoop作业如何工作/获取数据不够了解）？
• 如果没有其他方式？

Answer 1

如果不使用VPC/VPN，您将无法授予对本地数据库的Dataproc访问权限。

如果更好地满足您的需求，您可以使用VPN而不是使用VPC：https://cloud.google.com/vpn/docs/

只有其他选项是打开本地数据库到Internet，这样Dataproc就可以在没有VPC / VPN的情况下访问它，但这本质上是不安全的。