Dask是一个灵活的并行计算库，用于分析计算。它支持针对计算和大数据集合优化的动态任务调度。
使用 Dask，我尝试创建一个具有整数类型列表的列。例如： 将 dask.dataframe 导入为 dd 将 pandas 导入为 pd # 有一个 Dask Dataframe 示例 ddf = dd.from_pandas(pd.DataFrame...
我正在尝试使用 Dask 打开一个 jsonl 文件，当我第一次运行该程序时，我收到一条警告，称工作人员使用的内存超出了分配的内存，最终保姆试图终止该工作...
我有一个名为“sum”的变量，其中包含以下信息： sum (时间、纬度、经度)float32 dask.array 如何显示该变量的所有数据...
如何防止Dask中的from_delayed为每个输入创建一个分区？
我的代码旨在匹配两个大型数据集的名称。我使用的函数创建一个匹配名称的延迟列表。 应用 from_delayed 后，分区数量增加并等于
我认为我很清楚为什么 ddf.divisions = 不再受支持，但我不清楚的是我现在如何有效地做到这一点。有什么想法吗？ 上面的代码结果...
简单的问题。如果我使用以下代码创建 Dask 集群： 从 dask.distributed 导入客户端 客户端 = 客户端() 它将创造多少工人？我在一台机器上运行了这段代码，它
我正在寻求有关使用 Dask 有效分析数据的指导。 我选择使用 Dask 从 SQL 表 (dask.read_sql_table) 或 CSV 文件 (dask.read_csv) 延迟加载 DataFrame。 我是你...
在 Dask 分布式 AWS ECS/EC2 集群中挂载文件夹
我正在使用 dask 分布式包创建 EC2/ECS 集群，我想读取工作人员中的 ML 模型，例如 def read_model(模型路径): 模型 = pickle.load(model_path) ...
Python dask ValueError：无法识别的块管理器 dask - 必须是以下之一：[]
我正在使用 xarray 使用 xarray.open_mfdataset 连接多个 netcdf 文件。但是，当我尝试运行我的代码时，出现以下错误： -----------------------------------------------------------...
我有一些具有以下形状的数据（带标题） 名称、信号、日期 我的名字,1,2,3,4,5,6,7,8,9,10,19-04-2024 我的名字,1,2,3,4,5,6,7,8,9,10,19-04-2024 我对过滤行感兴趣...
如何提高大型 .nc 文件（70GB-350GB）的文件读取时间？
我正在使用 ERA5 大气数据以最大空间和时间分辨率计算全球任何地方的风速。这会产生一个包含一年数据的未压缩 70GB 文件，...
我正在尝试对 dask 数组的值进行径向求和，在该数组中我保留了分块数据，并对每个半径求和。将总和标准化为“像素&...
Dask Dataframe 错误：“Future”对象没有属性“drop”
我是 Dask 的新手。我创建了一个 dask 数据框，使用 drop 命令删除了一些列。此后我将执行其他操作。当我调用计算时，出现错误：“Future”对象...
执行 .shape 给出以下错误。 AttributeError：“DataFrame”对象没有属性“shape” 我应该如何获得形状？
不带groupby的dask数据帧聚合（ddf.agg(['min','max'])？
Pandas 定义了 dataframe.agg，但 DASK 只定义了 dask_dataframe.groupby.agg。 有没有办法在 dask 中的列上进行多次聚合而无需 groupby ？ 我知道describe()有统计列...
我正在使用 xarray 读取大型 netCDF 数据集，该数据集每 6 小时采样一次，并希望使用当天的平均值将其下采样到每日。我已经在空间上对数据集进行了分块。当我downsam之后...
我有大约 30GB 未压缩的空间数据，包含几何图形、id 和一些字符串。它们与这些列一起保存为 Dask DataFrame。 id|几何|...| 12|点(..)|...| 因为它们太大了，...
我正在 SQL 服务器上处理一个巨大的非规范化表。以此作为数据示例： 将 pandas 导入为 pd 将 numpy 导入为 np 数据 = pd.DataFrame({ '状态' : ['待处理', '待处理', '待处理', '
我有以下 dask 数据框 列 1 列 2 一个 1 a2 乙3 丙4 c 5 我需要添加一个新列，其中包含列中值的唯一连续编号...
我想替换字符串列的“.”在 dask_cudf 数据框中使用“，”。 例子 tdf = cudf.DataFrame("A":["x.y", "a.b"]) 温度 = dask_cudf。