设置Datafusion实例以与受IAP保护的Dataproc集群连接

Question

我们有一个受IAP（身份识别代理）保护的Dataproc集群，我们可以使用以下命令使用单个用户ID成功将SSH SSH到其中：

gcloud compute ssh cluster-name --tunnel-through-iap

但是，当我们创建一个配置文件并将其附加到Data Fusion实例并配置运行管道时，它会引发连接超时：

java.io.IOException: com.jcraft.jsch.JSchException: java.net.ConnectException: Connection timed out (Connection timed out)
    at io.cdap.cdap.common.ssh.DefaultSSHSession.<init>(DefaultSSHSession.java:88) ~[na:na]
    at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionTwillPreparer.lambda$start$0(RemoteExecutionTwillPreparer.java:436) ~[na:na] 

我们如何配置数据融合管道以与受IAP保护的Dataproc集群一起运行？请让我知道。

Answer 1

一些信息可提供有关此问题的更多上下文：

• 从选项--tunnel-through-iap中，很可能您正在使用Tunneling with SSH，而cluster-name是要连接到的Dataproc集群中的实例名称。该链接还提供有关选项--internal-ip的信息，该选项仅通过实例的内部IP连接到实例。
• 数据融合解释了创建private IP addresses以限制对实例的访问的过程。

因此，一旦正确配置了防火墙规则，则可以使用一个私有IP实例和--internal-ip选项很好地组合到您的实例（保持一个安全的群集）。