dask-distributed 相关问题

在所有dask worker /调度程序中维护git仓库

所有Dask工作人员/调度员理解git仓库下的python模块的最佳方法是什么？另一件事是，我希望git存储库的更新出现在...

Python3：从其他worker_client启动dask.distributed.worker_client时出现歧义错误

我有一些代码正在尝试使用Python3中的dask.disributing来加速。我有一个3级方法，其中我有一个dask.distributed Client对象开始工作。从该工作中，我开始...

如何找到dask数组分区的行索引

我有一个二维数组（4950，4950），我想并行计算。使用链接：https://docs.dask.org/en/latest/delayed-best-practices.html#don-t-call-dask-delayed-on-other-dask-collections ...

是否可以使用dask从远程服务读取.tiff文件？

我正在将.tiff文件存储在Google云存储中。我想使用在Kubernetes上安装了Helm的分布式Dask集群来操作它们。.基于dask-image存储库，Dask文档...

如何在python dask中通过unstack操作使用group by describe？

我试图在dask中使用describe（）函数来获取数据的摘要统计信息。但是，我收到如下所示的错误，将dask.dataframe导入为dd df = dd.read_csv（'Measurement_table ....

如何在python dask中使用group by describe功能？

我试图在dask中使用describe（）函数来获取数据的摘要统计信息。但是，我收到如下所示的错误，将dask.dataframe导入为dd df = dd.read_csv（'Measurement_table ....

创建dask_jobqueue调度程序以在自定义HPC上启动

我不熟悉它，并试图在我们的使用NC作业调度程序（来自Runtime Design Automation，类似于LSF）的群集中使用它。我正在尝试创建类似于LSFCluster的NCCluster类，以保持...

dask中不支持项目分配的解决方法

我正在尝试将代码库从numpy数组转换为dask，因为我的numpy数组超出了内存错误限制。但是，我知道可变数组的功能还没有...

DASK：GROUPBY与nlargest索引自动缩进，并且不允许reset_index（）

我一直在试图通过这个问题，下面的方法来获取一组nlargest行。这个问题的解决方案是正确的到一个点。在这个例子中，我GROUPBY列A和想返回...

DASK分布，无法再启动工作

在有些情况下它似乎在DASK集群挂在重新启动时模拟这个我写了这个愚蠢的代码的情况：从分散的进口客户进口contextlib2，LocalCluster因为我在...

是否所有DASK工人需要是相同的操作系统？

我设置显示正确连接到调度器（3 Linux操作系统Ubuntu 18.04和3吨款Windows 10的机器，调度是对运10台机器之一）集群。我得到一个超时错误的...

DASK是否与HDFS进行通信，以优化数据局部性？

在DASK分布式文档，它们具有以下信息：例如DASK开发商利用这种能力来建立数据局部性，当我们沟通，数据本地存储系统...

我怎样才能结合顺序以及延迟函数调用的并行执行？

我被困在一个陌生的地方。我有一大堆的延迟函数调用，我想在一定的顺序来执行。而并行执行是简单的：RES = client.compute（[myfuncs]）RES = ...

什么是白色的空间发生在DASK分布式任务流仪表盘？

下面是任务流的仪表板。什么是空白发生了什么？那是当我的本地Python实例/ DASK调度工作？是不是当GC或其他进程是怎么回事？我想要 ...

为什么DASK填写“foo”和1我的数据帧

DF = dd.read_csv：我在大约15 CSV文件读取（ “GS：//project/*.csv”，块大小= 25e6，storage_options = { '令牌'：fs.session.credentials}）然后，我坚持了据帧（它使用7 ....

提交DASK阵列分布式客户端同时使用效果的同时

我有一个表示视频的帧DASK阵列以及希望创建多个视频文件。我使用的ImageIO库，让我到帧“追加”至FFmpeg子。所以我可能......

如何以编程方式获取Dask-YARN UI URL

我正在使用Dask YARN来创建这样的应用程序：spec = skein.ApplicationSpec（...）cluster = YarnCluster.from_specification（spec）client = Client（cluster）通常我会运行yarn ...

使用Dask或Joblib的并行Sklearn模型构建

我有一大堆sklearn管道，我想与Dask并行构建。这是一个简单但天真的顺序方法：从sklearn.naive_bayes导入来自sklearn的MultinomialNB ....

如何查找Dask分布式函数调用的concurrent.future输入参数

我正在使用Dask将工作分发到集群。我正在创建一个集群并调用.submit（）来向调度程序提交一个函数。它返回一个Futures对象。我想知道如何获得......

内存问题计算dask-distributed中NetCDF数据集的滚动总和

我正在研究HPC系统（NCAR的Cheyenne），并希望对大型NetCDF数据集（NCAR Large Ensemble）做一些事情。尽管阅读了...但我遇到了内存错误的问题