Python的 - 获得统计数据,而不从输入文件创建变量/数据帧

问题描述 投票:1回答:1

我有很多的.txt文件,它们共同构成一个数据帧就是太得到装入一个变量(ERGO没有足够的内存来所有的文件加载到数据帧大熊猫)。我可以以某种方式仅仅阅读文件,但没有将它们载入一个数据帧/变量得到一些描述性统计?怎么样?谢谢!

python pandas
1个回答
0
投票

为了得到信息,您可以与水珠选择文件,打开它们为文本文件。假设这是在第一行的列标题的CSV文件,您可以通过拆分的第一行检索键。基于How to get line count cheaply in Python?,算上其余线路。

import glob    

filenames = glob.glob('*.txt')
for filename in filenames:
    with open(filename) as f:
        keys = f.readline().rstrip().split(',')
        for i, l in enumerate(f):
            pass
    print("File:", filename, " keys:", keys," len:",i+1)
© www.soinside.com 2019 - 2024. All rights reserved.