我有一个用于2001文件的循环:
for i in tqdm(result_file_list):
df = read_pickle(file_path, i)
final_df += df
而且我想每100个文件保存final_df,这是最简单的方法吗?
我只想到这样的东西:
for i in tqdm(result_file_list[:100]):
df = read_pickle(file_path, i)
final_df += df
for i in tqdm(result_file_list[100:200]):
df = read_pickle(file_path, i)
final_df += df
这应该有所帮助,计算迭代次数(您的阶段)
import math
#2001 / 100 = 20.01 (21 iteration, round it up 20.01 > 21)
stages = math.ceil(2001/100.0)
for z in xrange(stages):
for i in tqdm(result_file_list[i*x: (i*z)+100]):
your_code()