如何使用Dask分布式期货

Question

我的未来是我播出的python集（LocalCluster）：

In [0]: [set_future] = client.scatter([_set], broadcast=True)

In [1]: set_future

Out[1]: Future: set status: finished, type: builtins.set, key: set-529f704c52fef330450e5d68302fbeac

现在我只是想在我的map_partitons操作中提供这些数据：

In [2]: def mapper(pdf, _set):
          assert type(_set)==set
          return pdf

        ddf.map_partitions(mapper, set_future)

Out[2]: AssertionError()

但是，在映射器中，类型是distributed.client.Future，而不是set。未来似乎无法从集群中恢复。我究竟做错了什么？

Answer 1

如果不提供meta到map_partitions，那么Dask将尝试使用虚拟数据来推断它。但是，在这种情况下，期货不进行评估，并导致错误。