我在S3中有两个avro文件,我想比较内容的差异。基本上这些文件会有增量差异,我想知道这些差异以供进一步分析。是否有任何 s3 本机选项或任何 AWS 服务可以让我这样做?
我尝试使用 AWSglue 为两者生成数据目录并进行比较。但我们有更简单的方法吗? s3 本身支持的东西或者可能是其他可以有效处理它的 AWS 服务?
不,没有比较文件的标准功能。
如果您将它们添加到 AWS Glue Catalog,您可以使用 Amazon Athena 对它们运行 SQL 查询。
例如,如果有主键,那么您可以选择一个“表”中不在另一个“表”中的行,或者可能只使用
EXCEPT
来查找整行之间的差异。