循环并存储多个路径Pandas

Question

目标：参数化多个路径并使用 pandas 合并 ID 上的所有数据。例如，我有以下多个路径：

• \用户\文档�301\data01.pqt
• \用户\文档�302\data02.pqt
• \用户\文档�303\data03.pqt 。 。 .
• \用户\文档{年}{月}\数据{月}.pqt

我对参数化和合并数据没有任何问题，但想知道是否有一种方法可以一次对这些文件进行数月/数年的 for 循环，并存储/读取/合并循环内的所有镶木地板文件。

我走了很长的路，将每个文件存储并读取一次，这需要大量的手动工作。希望通过对文件名中的年份和月份使用 for 循环来自动化此过程，并消除为每个新文件创建新代码的需要。

Answer 1

您可以使用 glob 库来执行此操作。

from glob import glob

files = glob(r"\Users\Documents\*\*.pqt")

for file in files:
    pqt_df = pd.read_parquet(file)

files 将是 parquet 文件的所有路径的列表，您将对其进行迭代