Dask.distributed是一个用于Python中的分布式计算的轻量级库。它将concurrent.futures和dask API扩展到中等大小的集群。
DASK dataframe.to_csv将文件存储在辅助程序上，而不是在本地存储
我对DASK还是很陌生，我正在尝试在私有云上建立一个分布式集群。现在，我有调度程序和一个工作程序，它们都在同一台机器上的同一Docker容器中运行。 ...
所以我正在使用Slurm在HPC群集上运行。我已经获得了所需的节点（salloc --nodes = 16 -t08：00：00 --qos = interactive）。有没有办法在jupyter笔记本上运行dask ...
是否可以使用新值（n_workers和threads_per_worker）重新启动dask客户端
如果我继续修改n_workers和threads_per_client，我想看看是否有任何性能改进。从dask.distributed import客户端将dask.dataframe导入为dd，LocalCluster cluster = ...
当我尝试从hdf5文件加载非常大的数据集时，我遇到了MemoryError。我在下面附了一个简短的例子。 import dask import dask.array as da从dask导入h5py...。
我正在尝试使用dask.distributed.SLURMCluster将批处理作业提交到超级计算集群上的SLURM作业计划程序。所有作业均按预期提交，但在一分钟后...
我正在尝试从每个工作人员读取一个唯一的本地文件，但是我在所有工作人员中都得到了相同的结果，而不是每个工作人员都得到了一个唯一的结果...。有人可以指出我在做什么.. 。
dask-如何将本地分布式调度程序设置为dask.dataframe的默认调度程序？
我试图让dask.dataframe默认使用本地分布式调度程序，但是从阅读Dask文档了解如何做到这一点上，我还不清楚。像下面这样的东西就足够了吗？来自...
我正在构建一个FastAPI应用程序，该程序将提供Dask数组的大部分内容。我想利用FastAPI的异步功能以及Dask-distributed的异步操作能力。...
（从dask分发）ImportError：无法导入名称'scheduler'
[当我尝试使用以下命令导入调度程序时，我尝试使用调度程序，工作程序和客户端设置分布式计算：从dask.distributed import调度程序中，它会引发Import ...
我已经建立了一个具有8个工作人员的本地集群。现在，我希望将特定任务提交给特定工作者。如何在本地群集中执行此操作？
我已经创建了一个具有8个工作人员的本地集群。现在我希望将特定任务提交给特定的工作人员。如何在本地集群中完成它。] >>
我想做这样的事情：client = Client（）def sub（）：client.submit（lambda：'ok'）调用sub（）不会提交任务。直接调用client.submit（lambda：'ok'）。我找不到...
我看到的行为看起来像是Dask中的错误，但是我想确保自己没有做错什么。我有一个Dask数据框，称为labeled_texts。它包含一个称为“文本”的列。我...
我需要以编程方式创建远程工作者，并将其用于任务，然后将其关闭。文档中给出的示例代码可以很好地完成以下工作：从分布式导入异步... ...
Dask和numpy-numpy数组和dask数组之间的缓慢转换
我需要从一个大的numpy数组中保存一个dask数组。下面是显示该过程的最低限度的工作示例。请注意，仅为此mwe使用numpy.random创建了a，不幸的是我可以...
我正在尝试从多个文件创建单个dask数组。我正在使用dask.array.Array类来做到这一点。考虑下面的代码片段，其中我生成了100个大小为（...
我正在尝试使用Xarray和Dask打开多文件数据集。但是，我遇到了内存错误。我的文件通常具有以下形状：xr.open_dataset（“ / work / ba0989 / a270077 / ...
我有一个Tensorflow模型，我想在Dask Dataframe上运行（而不是训练）。我正在使用map_partitions。但是，当我查看仪表板以检查进度时，对于所有...
我在dask.delayed工作负载上使用dask分发的本地设置（LocalCluster有5个工作程序）。大多数工作由vtk Python绑定完成。由于vtk是基于C ++的，所以我认为这意味着...