我正在尝试逐个读取镶木地板文件的大型数据集，进行一些操作然后继续进行下一个操作而不将它们全部保存在内存中。我需要这样做，因为整个数据集不适合内存。以前我使用ParquetDataset，我知道RecordBatchStreamReader，但我不知道如何将它们结合起来。
我如何使用Pyarrow来做到这一点？
目前，Parquet API仅支持对单个文件的完整读取，因此我们只能以单个文件的粒度限制读取。我们想创建一个从Parquet文件中读取的arrow::RecordBatchReader（流数据接口）的实现，请参阅https://issues.apache.org/jira/browse/ARROW-1012。补丁将是受欢迎的。