在 hive 上读取 zst 文件时出现未知的帧描述符？

Question

我有一个文件 a.csv.zst 并且我创建了文本文件表。

当我在 hive 上选择时，我看到前 100 行没有错误，但是当我选择

count(*)

时，它给出了错误

unknown frame descriptor

我可以在 Linux 上使用

zstd -dc a.csv.zstd

解压我的文件

我如何在 hive 上阅读它？

它适用于 mr，但不适用于 tez

我没有提供显示 hive 表压缩级别的选项，因为我知道默认值是 3 并且我不确定文件 zstd 压缩级别

Answer 1

我的tez版本是0.10.2

所以它有hadoop-common 3.1 jar，其中有zstd解压缩器java类，该jar有一个错误并在3.2版本后修复

当我更改hadoop common har时，它起作用了