Datastream API 中的 Flink Sink Parquet 压缩

Question

我正在使用流数据 API 来读取 parquet 数据并丰富写入 S3 文件系统。在 flink 文档中，它说要压缩表 API 的结果文件

Parquet format also supports configuration from ParquetOutputFormat. For example, you can configure parquet.compression=GZIP to enable gzip compression.

数据流API中有类似的东西用于压缩输出文件吗？

检查了数据流 API 的相应接收器文档，但找不到与文件接收器压缩相关的任何内容。

Answer 1

数据流连接器/文件系统部分提到了压缩编解码器，这里

对于批量编码格式，您需要创建 ParquetWriterFactory 并使用 .setCodec(CodecFactory.snappyCodec()) 之类的内容设置压缩编解码器，如文档中所述。