Dask是一个灵活的并行计算库，用于分析计算。它支持针对计算和大数据集合优化的动态任务调度。
在Dask上，调用稀疏迭代方法Dask阵列或跨集群中的节点。
我有一个大的稀疏矩阵，只能放在一个集群的多个节点上。我想通过调用类似 import scipy.sparse.linalg as splinalg A = ... 这样的方法来解决一个方程组。
这可能是一个非常愚蠢的pb，但我不能从dask仪表板诊断带宽。在我的印象中，这条线总是很低，以至于无法看到，参见屏幕抓取。我可以用仪表盘来 ...
我有一个关于dask.distributed中任务的调度执行顺序的问题，适用于一个大型原始数据集的强数据还原的情况。我们正在使用dask.distributed进行代码 ...
Dask集合供给了像DataFrames和Arrays这样的pickling方法。虽然IIUC集合本身并没有传输给工。而是对图进行提取、优化，然后变成......
将季节性分解的趋势应用到dask DataFrame的每一列，Python
正如标题所说，我无法运行这段代码： def simple_map(x): y = seasonal_decompose(x,model='additive',extrapolate_trend='freq',period=7,two_sided=False) return y.trend b.map_partitions(...)
我已经处理这个问题一个星期了。我使用 dask import dataframe 命令作为 ddf ddf.read_parquet("http:/IP:portwebhdfsv1user...")我得到了无效的parquet魔法。然而ddf....
我在 s3 中有一个 ORC 文件，我想把它读到 Dask 数据框架中。我正在使用conda来获得一个python 3.7的虚拟环境，并且我已经安装了Dask。我的环境是这样的。# 名称...
使用 Dask map_partitions 将日期和时间从两列转换为单一的日期时间列。
我怎样才能将两个日期和时间列转换为这种类型。日期 时间 1011990 1055 2011990 1055 3011990 1055 4011990 1729 5011990 1729 转换成一个单一的日期时间列 (例如 format='...
哪种方式是最好的读取parquet文件处理为dask数据框架的方式。
我有目录中的小parquet文件(600)，我想在这些parquet上做ETL，并将这些parquet合并到128mb的每个文件中。
我正在我的本地机器上用dask优化一个TPOT管道。我希望这能运行48小时甚至更长时间。我启动了一个带有几个核心的客户端，这样我就可以在它运行时继续使用我的机器 ...
我可以通过使用dask.distributed.Client的空参数构造函数隐式创建dask.distributed.LocalCluster。然而，当我试图显式定义集群时，用 ...
我有几个netCDF文件，可以在这里下载，由Coperinucs创建。有四个文件，每个文件大约是1GB。我读取文件的方式是这样的 import xarray as xr dset = xr.open_dataset("~......")。
dask数据帧从read_csv使用python引擎不可靠的行为。
我的数据是一个10GB的文件，格式如下： [ 1234567890 ][ 2020052701020201 ][ value1 ][ value2 ][ key3 = value3 ]...[ keyn = valuen ]注意：可以有任何数量的[ key = value ]...。
Dask: SSHCluster 工人登录到哪里？(KilledWorker异常)
我为dask SSHCluster和LocalCluster写了一个小的启动脚本，效果很好（见下文）。但当我让它运行时，一个 Worker 崩溃了，出现了 KilledWorker：("('from-delayed-......')。
我试图用Dask执行Qiskit。当我提交一个使用Qiskit执行量子电路模拟的函数时，它不能正常工作，此外，工人开始产生错误......。
所以我使用Dask来存储大量的数据。我们每天有大约5000万行新数据。栏宽不多。我目前使用ddf.to_parquet(long_term_storage_directory)来存储数据。
从django视图运行时，完成子任务后卡住的主要dask任务
我有一个django视图，应该尽快提交任务。此任务的作用范围是解压缩模型的文件字段，然后运行其他一些需要将解压缩的文件路径作为参数的任务。 ...
此代码在Jupyter笔记本中对我有用，但是当我从命令行（Centos 7）运行该警告消息时，它无法拦截警告消息：从contextlib import redirect_stderr导入io导入日志记录...
我有以下基本代码（我认为），应将xarray设置为使用LocalCluster。来自dask.distributed import客户端客户端= Client（“ tcp：//127.0.0.1：46573”）＃这指向一个...