Dask.distributed是一个用于Python中的分布式计算的轻量级库。它将concurrent.futures和dask API扩展到中等大小的集群。
Dask in python REPL - 是否可以设置进度条？ [重复]
我在python REPL中使用Dask。是否可以设置进度条？
我有一个图像处理图，我想批量处理许多图像。我的图表如下所示：当我运行图表时，bokeh会显示如下执行路径：这会导致我的机器......
在单个OSX机器上进行Dask - 默认情况下它是并行的吗？
我在OSX Mojave上安装了Dask。它默认是并行执行计算吗？或者我需要更改一些设置吗？我正在使用DataFrame API。这会对答案产生影响吗？......
我最近开始查看Dask的大数据。我有一个关于并行有效应用操作的问题。假设我有一些这样的销售数据：customerKey productKey ...
我阅读了其他类似的主题并搜索了Google以找到更好的方法，但找不到任何在性能方面可接受的解决方案。我有一个非常大的dask数据帧，有100个分区......
我试图强迫工人不要将数据写入磁盘，但可能我做错了。我修改了文件〜/ .config / dask / distributed.yaml，如下所示：distributed：worker：＃...
dask中的多个sum（）。compute（）用于非常大的数据集
我有一个带有100个分区的dask数据帧（将100个json文件聚合在一起，大约45GB）。我想用大约15-20列的.sum（）。compute（）计算一些指标。每个....
我正在使用dask-jobqueue在小型SLURM集群上启动多个2-5分钟的作业（使用子进程）。我总共运行了几千个工作岗位，我偶尔会让我的工人死去并得到......
如何从本地计算机向远程Kubernetes集群提交Dask作业
我在GCP上使用Kubernetes Engine设置了Kubernetes集群。我还使用Helm包管理器安装了Dask。我的数据存储在GCP上的Google存储桶中。运行kubectl得到......
我有一个具有以下规格的工作站：架构：x86_64 CPU操作模式：32位，64位字节顺序：Little Endian地址大小：46位物理，48位......
如果我知道它的id，我可以检索一个distributed.client实例吗？
使用dask，有一个与distributed.client的每个实例相关联的id。在客户端上调用.id将显示其ID。如果我知道它的id，我可以检索客户端实例吗？
如何忽略任务失败的工作人员并将其任务重新分配给其他工作人员？
我在一个N个单线程工作者（在N台机器上）上运行了一个函数，其中client.map和其中一个worker失败了。我想知道是否有办法自动处理异常......
我想在dask中使用调度程序插件转发任务的结果。我有一个已注册的类，当我登录过渡函数时，它显示：transition：key =，start = processing，...
当执行“大量”任务时，我收到此错误：考虑使用client.scatter提前散布大对象以减少调度程序负担并保留工作人员的数据而我...
我有一个dask数据框，想要计算一些独立的任务。有些任务比其他任务快，但是在完成更长任务后我会得到每个任务的结果。我创造了......
许多分布式dask工作程序在一次评估后空闲，或者在有更多任务时从不接收任何工作
我们使用dask来优化深度学习器（DL）架构，方法是生成设计，然后将它们发送给dask worker，然后使用pytorch进行训练。我们观察到一些工人不......
我有五个不同的pandas数据框，显示了相同数据的相同数据的计算结果，所有数组的形状相同。每个数据集的（5x10）df形状：...
DASK有一个非常强大的分布式api。据我所知，它只能支持本机python代码和模块。有谁知道分布式DASK是否可以支持c ++ worker？我可以 ...
是否有可能在创建后将工作人员资源分配给dask分布式工作者？
根据标题，如果我通过helm或kubernetes创建工作者，是否可以在工人之后分配“工作人员资源”（https://distributed.readthedocs.io/en/latest/resources.html#worker-resources）。 。