dask 相关问题

Dask是一个灵活的并行计算库,用于分析计算。它支持针对计算和大数据集合优化的动态任务调度。

为什么快扔IndexError:当我使用apply_along_axis时,索引1超出了大小为1的轴0的边界?

我尝试将dask.array.apply_along_axis用于2D数组。但是,我的数组是一个dask数组,它总是引发如下异常:Traceback(最近一次调用为last):文件“ D:/ test / ...

回答 1 投票 0

是否可以使用dask在镶木地板文件上运行SQL语句?

Spark具有允许用户在Spark数据帧上运行SQL语句的功能。达斯克呢?如果现在不可用,是否正在考虑?

回答 1 投票 0

读取HDF5作为Dask Dataframe时出错,为什么?

1。我的问题是,尝试使用Dask读取我的HDF5文件时出现下一个错误,我不知道为什么>>> dd.read_hdf(“ test.h5”,key =“ / RECORDS / STATES”)追溯(最近一次调用)最后):...

回答 1 投票 0

Dask如何决定是否重新运行任务

我对Dask并不陌生,他试图构建一个系统来执行具有依赖关系的计算图。但是,有些任务虽然有一个...

回答 1 投票 0

通过掩码乘以成块的dask xarray

我有一个大型(> 100 GB)的xarray数据集,用于保存天气预报数据(维度时间,预报步长,纬度,经度,并且在时间,纬度和经度维度上有较大的块),并且需要...

回答 1 投票 3

是否可以为Dask中的特定任务选择工作人员?

我有一个在Dask的Kubernetes集群上运行的进程,该进程包含两个map-reduce阶段,但是跨节点的两个map都可能向每个worker下载大量的大文件。在...

回答 2 投票 0

如何从Dask数据框中选择值等于组最小值的所有行

因此,我遵循了按问题列分组的dask数据框。 |问题物品|最小尺寸|最大尺寸|费用| | -------- | ------ | --------------- | -------------- |- ---- | | A | ...

回答 1 投票 1

当我持续使用Dask-ML时超过可用内存时该怎么办

我正在使用Dask-ML运行一些代码,这些代码在训练期间会占用大量RAM内存。训练数据集本身并不大,但是它是在训练期间使用了相当多的RAM内存。我保持...

回答 1 投票 0

连接到现有的Kubernetes Dask集群

[使用Helm,我创建了一个Dask集群。名称准备状态重新开始年龄dask01-jupyter-aaa-aaaa 1/1正在运行0 3d19h dask01-scheduler-bbb -...

回答 2 投票 1

使用面板pn.interact显示的重叠数据帧

使用面板pn.interact显示的重叠数据框和使用]制作的数据框的重叠>

回答 1 投票 0

Dask如何在云中的多个虚拟机上执行代码

我编写了一个程序,但很快又延迟了,现在我想在云中的多台计算机上运行它。但是有一件事我不理解-冒险如何在...

回答 1 投票 0

如何将任务分配给黄昏纱簇中的特定工人

关于dask.distributed的问题的类似物可以在这里找到:如何将任务分配给Dask.Distributed中的特定工作者,但是相同的技术似乎不适用于纱线簇...

回答 1 投票 0

同一节点内的多个纱线容器可以共享磁盘内存吗?

理论上,当多个容器分配在一个节点上时,由于这些容器位于同一台计算机上,因此似乎可以使它们共享磁盘内存?更具体地说,我可以...

回答 1 投票 1

源自集合的类。腌制后,Counter会释放值

我想创建一个类似于计数器的类,但是具有一些额外的功能。这是一个简化的版本:从集合中导入Counter导入pickle类DerivedCounter(Counter):def ...

回答 1 投票 0

Dask计算图是否可以保留中间数据,因此不需要重新计算?

我对Dask印象深刻,我正在尝试确定它是否是解决我的问题的正确工具。我正在建立一个用于交互式数据探索的项目,用户可以在其中交互式地更改...

回答 1 投票 0

Dask-从SQL加载数据帧而不指定index_col

我正在尝试从SQL连接加载Dask数据框。根据read_sql_table文档,有必要传入index_col。如果没有...

回答 1 投票 0

黄昏缓存延迟功能示例

一个简单的dask缓存示例。缓存无法正常工作。假设我们有一个数据列表和一系列延迟的函数,对于遇到与...

回答 1 投票 2

使用dask搜索可诊断文件系统性能的代码段

我想通过dask多次访问来诊断文件系统性能。有人要摘录吗?上下文:在HPC平台上工作,我的系统管理员已要求我移动...

回答 1 投票 1

dask数据框是否有任何有效的方法来按一列分组,然后加入该列?

我有一个dask.DataFrame,如下所示:uid | name 1 | A 2 | A 3 | B 4 | CI要获得以下结果:uid | name 1 | A | A_NEW_ID 2 | A | A_NEW_ID 3 | B | B_NEW_ID 4 | C | C_NEW_ID我尝试通过以下方式获取结果...

回答 1 投票 0

Dask:连续提交,处理所有提交的数据

[具有500个,并且持续增长的DataFrame,我想对(每个DataFrame独立的)数据提交操作。我的主要问题是:可以保留连续提交的数据,...

回答 1 投票 4

© www.soinside.com 2019 - 2024. All rights reserved.