Dask是一个灵活的并行计算库，用于分析计算。它支持针对计算和大数据集合优化的动态任务调度。
如何在训练/测试集中使用拆分大数据集，但也使用pandas batchsize itererations进行更新
我在每次迭代时使用来自非常大的文件的批处理来更新我的参数。但在此之前，我想将整个大型数据集拆分为测试和火车集。交叉验证我...
我正在运行一个dask-scheduler和两个dask-worker，一个Client。在Python代码中，我正在运行gridsearchcv fit。我想看看我的系统工人和其他系统之间的通信......
与dask并行比顺序编码慢。我有一个嵌套的for循环，我试图在本地集群上并行，但找不到正确的方法。我想并行内循环。 ...
我有3400万行，只有一列。我想将字符串拆分为4列。这是我的样本数据集（df）：Log 0 Apr 4 20:30:33 100.51.100.254 dns，包用户：---从10获得查询....
当我尝试将dask数据帧保存到csv时，我不断收到错误。简而言之，我有一个由10列和20行组成的pandas df，然后我加载了350列和6+的dask df ...
我需要通过连接两个数组（最好是dask数组）来为dask创建一个多索引。我找到了numpy的以下解决方案，但是寻找一个dask解决方案cols = 100000 index = np.array（[...
什么是关闭Dask LocalCluster的“正确”方法？
我试图使用LocalCluster在我的笔记本电脑上使用dask-distributed，但我仍然没有找到一种方法让我的应用程序关闭而不会引发一些警告或触发一些奇怪的迭代...
Python = dask Vs pandas，read_csv中的错误
我在使用dask读取文件时遇到错误，该文件与pandas一起使用：import dask.dataframe as dd import pandas as pd pdf = pd.read_csv（“./ tous_les_docs.csv”）pdf.shape（20140796,7） dask ...
我想从Dask Dataframe中提取50行，但我不能。最后，我想创建每个类有50行的新数据帧。当我运行此代码时，导入dask.dataframe为dd ddf = dd ....
将dask cudf分区加载到GPU内存时，每个分区有多少开销？
PCIE总线带宽延迟强制限制应用程序应如何以及何时将数据复制到GPU和从GPU复制数据。当直接使用cuDF时，我可以有效地移动一大块数据......
当尝试使用Dask读取hdfs中的文件时，这个“pyarrow.lib.ArrowIOError：HDFS文件不存在”的解释是什么？
我正在使用Dask Distributed，我正在尝试从存储在HDFS中的CSV创建数据帧。我想与HDFS的连接是成功的，因为我能够打印数据帧列的名称。但是，我 ...
从我发现的另外一个问题是这样的（加速嵌套交叉验证）但是在尝试了几个修复后，安装MPI对我来说也不适用于此网站并且...
Dask - dataframe.read_csv无法识别正确的数据类型
下面的代码是读取一个简单的.csv文件，其中包含四列字符串值和标题行。然后将另一列添加到框架中，该列占据“已发布”列中的每一行（日期...
我正在使用Dask分发一些函数的计算。我的总体布局如下所示：来自dask.distributed import Client，LocalCluster，as_completed cluster = LocalCluster（...
当Numpy没有进行点积计算时，为什么Dask数组会抛出内存错误？
我正在努力比较不同数据大小的Dask和Numpy的计算速度。我知道Dask可以并行执行数据计算，并将数据分成块...
有没有办法在dask数据帧上使用正则表达式条件删除行？我有一个大约有1亿行的dask数据帧，我想在我之前删除B列中包含'the ocean'的行...
如何使自定义对象可用于传递给dask df.apply的函数（无法序列化）
所有这些代码都在pandas中运行，但运行单线程很慢。我有一个对象（它是一个布隆过滤器），创建起来很慢。我的dask代码看起来像：def has_match（row，...
我有一个dask数组，X，即约。 3500 x 700000.每行都有缺少的值，我需要根据该行的平均值来估算。目前这个数组存储为一个dask数组，我......
ind_index = np.asarray（[np.random.choice（40,5，False）for i in range（5）]）fit = da.random.uniform（size = 40，chunks = 5）parents_index = da.argmin（ fit [ind_index]，axis = 1）结果应该是一个数组......
如何使用dask.dataframe有效地编写多个CSV文件？
以下是我正在做的总结：首先，我通过正常的多处理和pandas包来做到这一点：步骤1.获取我要读取的文件名列表import os files = os.listdir（.. 。