Dask是一个灵活的并行计算库，用于分析计算。它支持针对计算和大数据集合优化的动态任务调度。
简单的问题。如果我使用以下代码创建 Dask 集群： 从 dask.distributed 导入客户端 客户端 = 客户端() 它将创造多少工人？我在一台机器上运行了这段代码，它
我正在寻求有关使用 Dask 有效分析数据的指导。 我选择使用 Dask 从 SQL 表 (dask.read_sql_table) 或 CSV 文件 (dask.read_csv) 延迟加载 DataFrame。 我是你...
在 Dask 分布式 AWS ECS/EC2 集群中挂载文件夹
我正在使用 dask 分布式包创建 EC2/ECS 集群，我想读取工作人员中的 ML 模型，例如 def read_model(模型路径): 模型 = pickle.load(model_path) ...
Python dask ValueError：无法识别的块管理器 dask - 必须是以下之一：[]
我正在使用 xarray 使用 xarray.open_mfdataset 连接多个 netcdf 文件。但是，当我尝试运行我的代码时，出现以下错误： -----------------------------------------------------------...
我有一些具有以下形状的数据（带标题） 名称、信号、日期 我的名字,1,2,3,4,5,6,7,8,9,10,19-04-2024 我的名字,1,2,3,4,5,6,7,8,9,10,19-04-2024 我对过滤行感兴趣...
如何提高大型 .nc 文件（70GB-350GB）的文件读取时间？
我正在使用 ERA5 大气数据以最大空间和时间分辨率计算全球任何地方的风速。这会产生一个包含一年数据的未压缩 70GB 文件，...
我正在尝试对 dask 数组的值进行径向求和，在该数组中我保留了分块数据，并对每个半径求和。将总和标准化为“像素&...
Dask Dataframe 错误：“Future”对象没有属性“drop”
我是 Dask 的新手。我创建了一个 dask 数据框，使用 drop 命令删除了一些列。此后我将执行其他操作。当我调用计算时，出现错误：“Future”对象...
执行 .shape 给出以下错误。 AttributeError：“DataFrame”对象没有属性“shape” 我应该如何获得形状？
不带groupby的dask数据帧聚合（ddf.agg(['min','max'])？
Pandas 定义了 dataframe.agg，但 DASK 只定义了 dask_dataframe.groupby.agg。 有没有办法在 dask 中的列上进行多次聚合而无需 groupby ？ 我知道describe()有统计列...
我正在使用 xarray 读取大型 netCDF 数据集，该数据集每 6 小时采样一次，并希望使用当天的平均值将其下采样到每日。我已经在空间上对数据集进行了分块。当我downsam之后...
我有大约 30GB 未压缩的空间数据，包含几何图形、id 和一些字符串。它们与这些列一起保存为 Dask DataFrame。 id|几何|...| 12|点(..)|...| 因为它们太大了，...
我正在 SQL 服务器上处理一个巨大的非规范化表。以此作为数据示例： 将 pandas 导入为 pd 将 numpy 导入为 np 数据 = pd.DataFrame({ '状态' : ['待处理', '待处理', '待处理', '
我有以下 dask 数据框 列 1 列 2 一个 1 a2 乙3 丙4 c 5 我需要添加一个新列，其中包含列中值的唯一连续编号...
我想替换字符串列的“.”在 dask_cudf 数据框中使用“，”。 例子 tdf = cudf.DataFrame("A":["x.y", "a.b"]) 温度 = dask_cudf。
我尝试创建 dask_cudf 数据框但出现错误。 导入dask_cudf 导入CUDF # 带有日期时间字符串列的 pandas DataFrame 示例 pdf = pd.DataFrame({'datetime_str': ['2024-03-19 12:...
如何在执行 Dask 任务之间保留一些 Python 对象状态？
我有一个 Dask 工作集群，我想用它们来使用复杂模型并行化预测操作。模型文件很大并且需要时间来加载，所以我使用 client.run 来获取所有
如何将日期时间字符串转换为 dask cudf 中的时间戳，然后按此列对数据帧进行排序
我想将日期时间字符串转换为 dask cudf 中的时间戳，然后按此列对数据帧进行排序。 例子： 将 dask_cudf 导入为 ddf 将 pandas 导入为 pd # 示例数据（替换为您的
npartitions 在 Dask 数据框中的作用是什么？
我在很多函数中看到参数npartitions，但我不明白它有什么用/有什么用。 http://dask.pydata.org/en/latest/dataframe-api.html#dask.dataframe.read_csv 头（...） 埃莱梅...
Dask 如何管理文件描述符？ 例如，从 hdf5 文件创建 dask.array 时。当数组大到足以进行分块时。 创建的任务是否继承创建的文件描述符...