Avro分层文件的AWS胶水和搜寻器

问题描述 投票:1回答:1

我们有一个用例来读取层次结构Avro文件,该文件的架构在摄取期间会动态更改。我知道对于扁平文件,我们可以使用Crawler读取元数据并从中创建模式,但是我想知道搜寻器是否可以从Hierarchical文件中读取模式并刷新Glue ETL作业。请分享您对此的想法。

谢谢!

amazon-web-services avro aws-glue
1个回答
0
投票

Glue搜寻器可以读取分层架构,并且可以在Glue作业中动态使用它

© www.soinside.com 2019 - 2024. All rights reserved.