使用 Javascript 读取 Parquet v2 文件

Question

我已经搜索了节点包管理器 (NPM)，但似乎找不到也支持版本 2 的工作 Parquet 库。

parquets

是我能找到的唯一可用的解析器，我收到了这个错误：

/workspace/_______/node_modules/parquets/lib/reader.js:109
            throw new Error('invalid parquet version');
                  ^

Error: invalid parquet version
    at new ParquetReader (/workspace/_______/node_modules/parquets/lib/reader.js:109:19)
    at ParquetReader.openFile (/workspace/_______/node_modules/parquets/lib/reader.js:126:20)

如何使用 Javascript 读取 Parquet 文件？我需要解析一些从互联网下载的数据集。

Answer 1

1. https://github.com/dvirtz/parquets
2. https://github.com/LibertyDSNP/parquetjs?tab=readme-ov-file#list-of-supported-types--encodings

两者都支持 V2 - 请注意您需要检查您使用的编码