Parquet:元数据和common_metadata之间的区别

问题描述 投票:3回答:1

在编写元数据文件时,ThriftParquetWriter实际上会生成两个文件:_metadata和_common_metadata

https://github.com/apache/parquet-mr/blob/master/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileWriter.java

这两个文件有什么区别?它们具有不同的文件大小,因此必须存在差异

谢谢

thrift parquet
1个回答
3
投票

在查看https://github.com/apache/parquet-mr/blob/master/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileWriter.java的源代码时,在我看来:

_common_metadata包含该目录中镶木地板文件的合并模式

_metadata将仅包含该目录中最近编写的镶木地板文件的模式

© www.soinside.com 2019 - 2024. All rights reserved.