AWS Glue 连接到 VPC 中 AWS Glue Crawler 的 AWS RDS SQL Server - 连接失败

Question

背景： 我在 AWS VPC 中有一个带有 AWS RDS 的 SQL Server 实例。 ACL 允许所有入站和出站流量。 SQL Server 的安全组允许端口 1433（SQL 默认端口）上的入站所有 TCP 流量以及端口 80 (HTTP) 和 443 (HTTPs) 上的出站流量。访问 SQL Server 的用户名和密码存储在 AWS Secrets Manager 中。我可以成功连接到SQL Server和相关数据库。

目标： 我想使用 AWS Glue 爬网其中一个数据库中的表子集，以便将元数据存储在 AWS Glue 数据目录中。

问题： 创建 AWS Glue 连接后，测试失败。

我需要如何配置连接和VPC才能成功建立连接？

Answer 1

以下步骤帮助我成功建立连接：

• 需要创建可由 AWS Glue 代入的 IAM 角色并提供所需的权限。 IE。包含“glue.amazonaws.com”的信任策略以及使用 AWS Glue 的权限（例如 AWSGlueServiceRole）、从 SQL 数据库读取数据（例如 AmazonRDSReadOnlyAccess）以及从 AWS Secrets Manager 访问密钥（例如 SecretsManagerReadWrite -> 应该受到更多限制具有自定义策略）。

• 最初通过 AWS 门户配置连接时，VPC 配置块不可用。但必须为其配置 VPC、子网和安全组。 IE。初次创建后，需要再次编辑并添加信息。

• RDS实例的安全组要求所有流量都有自引用的入站和出站规则

• 需要在RDS实例的VPC中添加两个端点
  • S3：

    com.amazonaws.<region>.s3

    ，网关，RDS实例VPC，相关路由表
  • Secrets Manager：

    com.amazonaws.<region>.secretsmanager

    、RDS 实例 VPC、RDS 实例子网、RDS 实例安全组

考虑了所有这些步骤后，它对我有用。