Dask.distributed是一个用于Python中的分布式计算的轻量级库。它将concurrent.futures和dask API扩展到中等大小的集群。
使用dask-distributed如何从队列提供的长时间运行的任务中生成未来
我正在使用一个磁盘分布式长时间运行的任务，就像这个例子http://matthewrocklin.com/blog/work/2017/02/11/dask-tensorflow一样，一个长时间运行的工作任务从a获取其输入。 ..
我有一个使用LocalCluster的管道：来自分布式导入客户端客户端= Client（）list_of_queries = [...] #sid 1_000查询loaded_data = client.map（sql_data_loader，list_of_queries）...
我一直在尝试在单个本地计算机上管理Dask的内存使用情况。出于某种原因，默认的Dask Client（）和LocalCluster（）调度程序似乎总是破坏，但Dask工作得很好......
Dask distributed无法使用numpy.arrays和sparse.matrices反序列化
我在图表上的不同任务上多次收到以下错误（执行之间的更改）。可能当某些任务返回numpy.arrays和scipy.sparse矩阵时。分散式....
我试图使用看起来像这样的dask分布并行化嵌套循环：@dask.delayed def delayed_a（e）：a = do_something_with（e）返回@ dask.delayed def delayed_b（...
对于size =（M，N）的大于内存的dask数组：如何从chunk =（1，N）重新chunk到chunk =（M，1）？
为了例如沿着整个轴应用在Numpy / Numba中编码的IIR-Filter，我需要将一个size =（M，N）dask-array从chunks =（m0，n0）重新chunk到chunks =（ m1，N），m1 <m0。正如Dask避免......
我在Django服务器后面使用Dask，我在此总结了基本设置：https：//github.com/MoonVision/django-dask-demo/其中可以找到Dask客户端：https：//github.com / ...