将动态生成的列表传递给多进程

Question

我试图将动态生成的日期变量列表传递到多进程池中。

当我从data_2_days()询问具体日期时，多进程工作正常，但如果我使用data_start_and_end()生成字符串，我得到：

ValueError：需要多于1个值才能解压缩

我相信返回的字符串用引号括起来，这就是引起问题的原因。

什么是生成日期变量列表以传递到多进程池的最佳方法？

谢谢

def data_start_and_end(start_date,end_date):

    start_date = DateTime.strptime(start_date, '%Y-%m-%d')
    end_date = DateTime.strptime(end_date, '%Y-%m-%d')

    no_days = (end_date-start_date).days

    date_str = "("
#    date_end_str = 
    x = 0
    while x <= no_days :
        if x ==0:
            date = start_date

        if date.month < 10:
            month_str = "0"+str(date.month)
        else:
            month_str = date.month

        if date.day < 10:
            day_str = "0"+str(date.day)
        else:
            day_str = date.day            

        date_str = date_str + "['"+ str(date.year) + "','" + str(month_str) + "','" + str(day_str) +"'],"


#        print date_str
        date = date + TimeDelta(days=1)
        x=x+1

    date_str = date_str[:-1] + ")"
    print date_str         
#        dates = 
    return(date_str)

def data_2_days():

    data = ( \
['2018','01','01'], \
['2018','01','02'])

    return(data)

def figure_probs_mp(start_date,end_date):

    data = ZZ_MP_data_lists.data_start_and_end(start_date,end_date)
    pool = multiprocessing.Pool(36)  
    pool.map(figure_probs, data)
    pool.close()
    pool.join() 


figure_probs_mp(start_date,end_date) 

Answer 1

这里的问题是您不是生成列表而是生成字符串。

在data_2_days中，您返回一个列表，其中包含2个元素的3个元素。在figure_probs中，当你遍历这个列表时，你会在每次迭代时得到元组，你可以分成3个元素。

在data_start_and_end中，您生成一个字符串，表示3个元素的元组列表。然后，在figure_probs中，当你遍历这个字符串时，你在每次迭代时得到1个字符，而python解释器返回ValueError，因为你试图将这个单个字符拆分为3.更改你的data_start_and_end函数以生成一个元组列表，它应该工作得很好。

def data_start_and_end(start_date,end_date):

    start_date = DateTime.strptime(start_date, '%Y-%m-%d')
    end_date = DateTime.strptime(end_date, '%Y-%m-%d')

    no_days = (end_date-start_date).days

    list_dates = []
    x = 0
    current_date = start_date
    while x <= no_days:

        if date.month < 10:
            month_str = "0"+str(current_date.month)
        else:
            month_str = str(current_date.month)

        if date.day < 10:
            day_str = "0"+str(current_date.day)
        else:
            day_str = str(current_date.day)          

        list_dates.append((str(current_date.year), month_str, day_str))
        current_date = current_date + TimeDelta(days=1)
        x = x + 1

    return list_dates

另外，return是python中的一个语句，不需要括号。我想你也可以读取变量x，并在date <= end_date时迭代。