我怎样才能看到AWS redshift中存储的元数据，数据沿袭？

我正在使用像cloudera navigator，atlas和Wherehows这样的解决方案

获得Hadoop，HDFS，HIVE，SQOOP，MAPREDUCE元数据和沿袭。

现在我们在AWS redshift中也有一个数据仓库。有没有办法从redshift中提取元数据或谱系或两者信息。

到目前为止，我还没有找到任何相关内容。

有没有办法将其作为爬行解决方案集成到wherehows？

我发现只有一个post提供了一些有关如何从redshift获取信息的信息，假设它与postgresql类似。我相信有人会为这个问题编写一些开源解决方案。或者只是编写一个简单的单一脚本来提取这些信息？我正在寻找企业级解决方案。我希望有人能指出我正确的方向。

0
投票

AWS Glue Data目录是一个完全托管的元数据管理服务。它具有AWS Glue抓取工具，可自动抓取您的源（为您的redshift）并创建可由其他AWS服务访问的集中式元数据存储库。

参考：

0
投票

您可以通过在Redshift中查询系统表来访问元数据：

系统表位于每个集群的领导节点上（参见我写的这个guide on the Redshift Architecture）

Redshift以滚动方式删除系统表的内容，因此您需要将该数据存储在群集或其他单独的群集中以获取历史记录。使用系统表中的数据，您可以获得有关查询的信息基线以及它们所触及的表格。

您可以将基于Kibana或Periscope Data的仪表板放在该数据之上以进行可视化。 Plaid已经完成了他们如何构建内部监控解决方案的报告，该解决方案包含有关数据沿袭的一些信息：

但是要获得真正的数据沿袭，您需要了解查询与工作流程的关系，即Airflow DAG。要获取该信息，您需要“标记”您的查询，以便您可以在转换/工作流的上下文中跟踪它们，而不是查看单个查询。

这是我们在产品中融入的东西 - 这是一个商业解决方案：

与系统表中的原始日志不同，我们为您提供了触发查询的应用程序/工作流程，用户正在运行它们以及它们正在触摸的表格的上下文。