Dask是一个灵活的并行计算库，用于分析计算。它支持针对计算和大数据集合优化的动态任务调度。
我试图用Dask执行Qiskit。当我提交一个使用Qiskit执行量子电路模拟的函数时，它不能正常工作，此外，工人开始产生错误......。
所以我使用Dask来存储大量的数据。我们每天有大约5000万行新数据。栏宽不多。我目前使用ddf.to_parquet(long_term_storage_directory)来存储数据。
从django视图运行时，完成子任务后卡住的主要dask任务
我有一个django视图，应该尽快提交任务。此任务的作用范围是解压缩模型的文件字段，然后运行其他一些需要将解压缩的文件路径作为参数的任务。 ...
此代码在Jupyter笔记本中对我有用，但是当我从命令行（Centos 7）运行该警告消息时，它无法拦截警告消息：从contextlib import redirect_stderr导入io导入日志记录...
我有以下基本代码（我认为），应将xarray设置为使用LocalCluster。来自dask.distributed import客户端客户端= Client（“ tcp：//127.0.0.1：46573”）＃这指向一个...
无法使用fbprophet拟合数据框，并使用dask将csv读入数据框
参考：https://examples.dask.org/applications/forecasting-with-prophet.html?highlight=prophet https://facebook.github.io/prophet/需要注意的几件事：我有一个总共48g的ram这是...
调用to_csv时出现Dask DataFrame MemoryError
我目前正在通过以下方式使用Dask ... S3上的文件列表具有以下格式： / filetype1.gz / filetype2.gz / filetype1.gz 。 。
我正在使用具有16个内核和64GB内存的EC2 VM。编写了一个Dask程序，该程序在数据帧上应用过滤器，并与另一个连接，然后将数据写回到磁盘。如果我在...中运行它]]
我有一个很长的dask链式管道，最后一位是一串dask.dataframe.from_delayed调用，如下所示。那条线非常慢-每个电话要几分钟。这需要1-2个小时...
我对为CPU分发的Dask非常熟悉。我想探索在GPU内核上运行代码的过渡。当我向LocalCUDACluster提交任务时，出现以下错误：ValueError：tuple ...
我正在尝试在Dask环境中运行生态模型。尽管我并不完全满意计算的速度。我在单台计算机上本地运行。是否有一些快速的...
我有一个包含许多子文件夹的项目文件夹（例如100）。 python脚本导航到这些子文件夹中的每个子文件夹，调用可执行文件，将结果写入out文件，然后移至下一个...
存储`dask.array.map_blocks`输出时限制内存占用量>>
考虑一个2D数组X，使其大到适合内存大小。在我的情况下，它以Zarr格式存储，但这并不重要。我想在数组上逐块映射一个函数，并保存结果而无需...
我正在尝试了解Dask-ML的Client（）函数参数。说我有使用Dask-ML的Client（）函数的以下代码：从dask.distributed import客户端import joblib client = Client（）...
大Dask / Pandas DataFrame（27M行x 52列）.to_csv或.to_sql MemoryError
长话短说，我一直在努力解决内存问题（以及执行时间），dask / pandas编写了一个大型数据框to_sql或to_csv，如果有人可以将我指向正确的方向（更多……
我想定义一组动作并在敏捷的工作程序上运行它们，并捕获可能出现的任何错误，而不必调用计算并将结果带给客户端。例如，如果我这样做...
代码非常慢，几乎没有结束-Dask dataframe将列分配给字典
[团队，我有100万个dask数据框行。我正在尝试将字典值分配给数据框的新列。 df = df.assign（c = lambda x：{“ a”：x.a，“ b”：x.b}）print（df.compute（））最多的是...
我有以下代码遍历每个项目目录，调用一个外部可执行文件并将结果写入out *文件。从dask_jobqueue导入PBSCluster群集= PBSCluster（）...