我有很多的.txt文件,它们共同构成一个数据帧就是太得到装入一个变量(ERGO没有足够的内存来所有的文件加载到数据帧大熊猫)。我可以以某种方式仅仅阅读文件,但没有将它们载入一个数据帧/变量得到一些描述性统计?怎么样?谢谢!
为了得到信息,您可以与水珠选择文件,打开它们为文本文件。假设这是在第一行的列标题的CSV文件,您可以通过拆分的第一行检索键。基于How to get line count cheaply in Python?,算上其余线路。
import glob
filenames = glob.glob('*.txt')
for filename in filenames:
with open(filename) as f:
keys = f.readline().rstrip().split(',')
for i, l in enumerate(f):
pass
print("File:", filename, " keys:", keys," len:",i+1)