dask-distributed 相关问题

Dask.distributed是一个用于Python中的分布式计算的轻量级库。它将concurrent.futures和dask API扩展到中等大小的集群。

当客户端不是默认调度程序时,Dask.distributed 性能报告不起作用

我刚刚尝试使用 LocalCluster 为 Client() 创建性能报告。然而,似乎只有当 Client() 被注册为默认调度程序时,性能报告才有效(

回答 1 投票 0

RuntimeError: Cluster failed to start with dask LocalCudaCluster example setup

我是 Dask 的新手,在执行示例代码时遇到问题: 从 dask.distributed 导入客户端 从 dask_cuda 导入 LocalCUDACluster 集群 = LocalCUDACluster() 客户=客户(群...

回答 1 投票 0

如何在Dask分布式上运行SQLAlchemy查询?

我试图使用我设置的dask集群运行和并行化这个sqlalchemy查询,因为我没有足够的内存从我的本地计算机执行它。我的代码如下--我不确定... ...

回答 1 投票 0

如何减少任务流中的留白?

我在Dask中使用分布式计算获得了不同数量工人的任务流。我可以观察到,随着工人数量的增加(从16到32再到64),任务流中的空 ...

回答 1 投票 1

在Dask上,调用稀疏迭代方法Dask阵列或跨集群中的节点。

我有一个大的稀疏矩阵,只能放在一个集群的多个节点上。我想通过调用类似 import scipy.sparse.linalg as splinalg A = ... 这样的方法来解决一个方程组。

回答 1 投票 1

优化dask.分布式调度,减少数据量。

我有一个关于dask.distributed中任务的调度执行顺序的问题,适用于一个大型原始数据集的强数据还原的情况。我们正在使用dask.distributed进行代码 ...

回答 1 投票 0

是否可以修改现有分布式客户端中的工作线程数量?

我正在我的本地机器上用dask优化一个TPOT管道。我希望这能运行48小时甚至更长时间。我启动了一个带有几个核心的客户端,这样我就可以在它运行时继续使用我的机器 ...

回答 1 投票 1

为什么 dask.distributed.Client 在提供一个已使用定义的 LocalCluster 参数时,会引发 "TypeError: cannot pickle '_thread.RLock' object"?

我可以通过使用dask.distributed.Client的空参数构造函数隐式创建dask.distributed.LocalCluster。然而,当我试图显式定义集群时,用 ...

回答 1 投票 0

Dask: SSHCluster 工人登录到哪里?(KilledWorker异常)

我为dask SSHCluster和LocalCluster写了一个小的启动脚本,效果很好(见下文)。但当我让它运行时,一个 Worker 崩溃了,出现了 KilledWorker:("('from-delayed-......')。

回答 1 投票 0

请继续获取“ distributed.utils_perf-警告-完全垃圾收集占用了19%的CPU时间……”

我在完成DASK代码后,始终收到“ distributed.utils_perf-警告-最近,完全垃圾收集占用了19%的CPU时间”警告消息。我正在使用DASK进行大型地震数据计算。...

回答 1 投票 3

从django视图运行时,完成子任务后卡住的主要dask任务

我有一个django视图,应该尽快提交任务。此任务的作用范围是解压缩模型的文件字段,然后运行其他一些需要将解压缩的文件路径作为参数的任务。 ...

回答 1 投票 1

快速执行被卡在LocalCluster中

我正在使用具有16个内核和64GB内存的EC2 VM。编写了一个Dask程序,该程序在数据帧上应用过滤器,并与另一个连接,然后将数据写回到磁盘。如果我在...中运行它]]

回答 1 投票 0

GPU Dask Cuda群集:client.submit

我对为CPU分发的Dask非常熟悉。我想探索在GPU内核上运行代码的过渡。当我向LocalCUDACluster提交任务时,出现以下错误:ValueError:tuple ...

回答 1 投票 0


Dask-ML的Client()函数中参数的默认值是什么

我正在尝试了解Dask-ML的Client()函数参数。说我有使用Dask-ML的Client()函数的以下代码:从dask.distributed import客户端import joblib client = Client()...

回答 1 投票 1

黄昏计算(以捕获错误),但将结果保留在工作程序上

我想定义一组动作并在敏捷的工作程序上运行它们,并捕获可能出现的任何错误,而不必调用计算并将结果带给客户端。例如,如果我这样做...

回答 1 投票 0

为子流程作业做好准备

我有一个简单的分布式脚本,该脚本从文件中读取主机列表并为我部署SSH群集(到目前为止非常好)。我不使用dask-worker命令行工具,因为我想...

回答 1 投票 0

向快速数据帧添加新列会引发ValueError:值的长度与索引的长度不匹配

我知道此追溯ValueError:值的长度与索引的长度不匹配是由于在ddf.assign(...

回答 1 投票 0

Dask字典到延迟的对象适配器

我一直在搜索,但是没有找到解决方案。我一直在研究Dask词典,但团队正在研究延迟的对象。我需要将dsk {}转换为上一步延迟的对象。 ...

回答 1 投票 0

dask.distributed.Client为什么在提供了已使用的已定义LocalCluster参数时引发“ TypeError:无法腌制'_thread.RLock'对象?”

通过使用dask.distributed.Client的空参数构造函数,我可以隐式创建dask.distributed.LocalCluster。但是,当我尝试使用...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.