如何使用单个 Glue Crawler 爬取 PostgreSQL 数据库中的多个表？

Question

我有一个包含许多表的 PostgreSQL 数据库。我想抓取这些表的子集。我可以使用单个 Glue Crawler 来完成此操作，还是每张桌子都需要一个 Crawler？

例如，假设我要抓取

customer

和

address

表，并在 Glue 数据目录中创建相应的

customer

和

address

表。我配置了一个具有两个 JDBC 数据源的 Glue Crawler：一个用于

customer

，另一个用于

address

。但是，当我运行爬网程序时，我收到“内部服务异常”，但没有其他详细信息。当我为每个表配置单独的爬虫时，它就可以工作了。

Answer 1

你找到解决办法了吗？