对 PyArrow Parquet 文件进行分区并将其写入数据集

Question

我有一个 PyArrow Parquet 文件太大，无法在内存中处理。由于数据可以轻松分区到不同的分片中，因此我想手动对其进行分区并从文件中创建一个 PyArrow 数据集。当我进行分区时，分区内的行本身需要重新排序，以便可以按自然顺序迭代数据。

这里是一个架构片段（如果相关）。分区键是

chain_id

:

pa.schema([
    ("chain_id", pa.uint32()),
    ("pair_id", pa.uint64()),
    ("block_number", pa.uint32()),
    ("timestamp", pa.timestamp("s")),
    ("tx_hash", pa.binary(32)),
    ("log_index", pa.uint32()),
])

我打算使用它的过程

• 预先确定分区 ID（上述架构中的

  chain_id

  ）
• 打开一个新的数据集进行写入
• 对于每个分区id
  • 创建内存中的临时 PyArrow 表
  • 读取（批量迭代）源 Parquet 文件
    • 识别属于该分区的行并将它们添加到内存表中
  • 对内存中的行进行排序
  • 将表附加到数据集

然而，PyArrow 上关于 FileSystemDataset 的文档很薄弱。我的问题是

• 假设表是分区本身的全部内容，如何将完整表添加到

  FilesystemDataset

  ？
• 是否有任何现有工具可以将 (PyArrow) Parquet 文件分区为数据集，而无需编写手动脚本？
• 假设我想始终使用

  pyarrow.dataset.FileSystemDataset

  以插入的预排序顺序读取数据，

  to_batches

  给出什么样的排序保证？
• 还有其他处理不适合 RAM 的数据和数据集的 PyArrwo 技巧吗？

Answer 1

我建议使用 dataset API。它可以在不加载的情况下对chain_id进行

过滤

，并写入分区。数据集读取确实保持顺序。

我自己的分区实用程序与您需要的类似。它不提供排序，但可以进行调整或提供想法。