比较S3中的两个文件内容

问题描述 投票:0回答:1

我在S3中有两个avro文件,我想比较内容的差异。基本上这些文件会有增量差异,我想知道这些差异以供进一步分析。是否有任何 s3 本机选项或任何 AWS 服务可以让我这样做?

我尝试使用 AWSglue 为两者生成数据目录并进行比较。但我们有更简单的方法吗? s3 本身支持的东西或者可能是其他可以有效处理它的 AWS 服务?

amazon-web-services amazon-s3 aws-lambda aws-glue delta-lake
1个回答
0
投票

不,没有比较文件的标准功能。

如果您将它们添加到 AWS Glue Catalog,您可以使用 Amazon Athena 对它们运行 SQL 查询。

例如,如果有主键,那么您可以选择一个“表”中不在另一个“表”中的行,或者可能只使用

EXCEPT
来查找整行之间的差异。

© www.soinside.com 2019 - 2024. All rights reserved.