dask 相关问题

Dask是一个灵活的并行计算库,用于分析计算。它支持针对计算和大数据集合优化的动态任务调度。

从dask数据框中按索引选择几行?

df = dd.read_csv('csv',usecols = fields,skip_blank_lines = True)len(df.iloc [0:5])上面的代码引发了AttributeError:'DataFrame'对象没有属性'iloc'尝试ix loc但无法选择行...

回答 2 投票 3

Dask&Geopandas:'str'对象没有属性

我在每个单元格中都有一个GeoSeries,其中包含一个形状为Polygon的对象,我正在尝试并行化所有特征的光栅化(我试图在最后获得一系列2D阵列,然后我......

回答 1 投票 1

导入Dask数据帧会导致错误无法导入名称'is_datetime64tz_dtype'

我使用下面的命令在我的Jupyter笔记本中安装了Dask!pip install“dask [complete]”之后当我运行import命令import dask.dataframe作为dd我得到以下错误。 ...

回答 1 投票 1

重塑一个dask数组(从dask数据帧列获取)

我是dask的新手,我正在试图弄清楚如何重塑我从dask数据帧的单个列中获取的dask数组并遇到错误。想知道是否有人可能知道......

回答 1 投票 0

在一个dask数组的片上运行一个函数

我一直在试图弄清楚如何在dask数组的切片上执行函数。例如,如果我创建以下dask数组:import numpy as np import dask.array as da x = da.random.normal(...

回答 1 投票 0

并行SQL查询

如何使用dask并行运行具有不同列维度的SQL查询?下面是我的尝试:从dask.delayed导入延迟从dask.diagnostics导入ProgressBar导入dask ...

回答 1 投票 1

找不到共享库:libhdfs3.so

大家。我尝试使用Dask with Distributed + HDFS来处理一些文件。当我安装分布式尝试安装HDFS3插件时,错误是:找不到共享库:...

回答 2 投票 0

寻求Dask vs Numpy与Pandas基准测试结果的解释

我试图对dask与pandas的性能进行基准测试。 def make_pandas(n):df = pd.DataFrame(np.random.randint(10,size =(n,3)))return df def make_dask(n):df = da.from_array(np ....

回答 1 投票 0

优化Pyspark性能以匹配Pandas / Dask?

我有每周的时间序列数据,并且我正在尝试使用Pyspark SQL来计算几个列的结尾8周的每周总和。我尝试过使用Pyspark窗口函数;具体来说:......

回答 1 投票 2

Dask数据帧中的多个聚合用户定义函数

我正在使用Dask处理数据集(考虑到它不适合内存),我想根据列和类型对具有不同聚合函数的实例进行分组。达斯克有......

回答 1 投票 4

是否计划将#Dask仪表板与项目Jupyter集成

像许多人一样,我在带有Jupyter笔记本的集群上使用Dask。这意味着SSH隧道化Jupyter的端口。隧道化一个端口是可行的,更多的问题。我想知道是否有......

回答 2 投票 2

mutliindex dask dataframe到2d dask数组

我有n个CSV,每个都有相同的格式(相同的k个功能)。我希望通过k功能dask数组为PCA,模型构建等构建一个2d dask数组n样本。我把它们读成......

回答 1 投票 0

jupyter lab在选项卡上打开iframe以监视dask调度程序

我正在使用分布式dask进行开发,这个包提供了一个非常有用的调试视图作为散景应用程序。我想在jupyterlab选项卡中将此应用程序放在笔记本旁边。我有 ...

回答 1 投票 3

Dask是否存在between_time?

在pandas中有between_time方法,但是我的数据集对于pandas而言太大了,但是在Dask api中快速控制f显示了4次提及for_time但没有实际使用它。一世 ...

回答 1 投票 1

如何将非常大的dask合并结果直接保存到python中的文件?

我有一个大文件~1 TB,我必须加入较小的~4 GB。我试图使用dask包这个dask但合并的结果比机器内存大128 GB并最终...

回答 1 投票 1

在AWS上尝试Dask

我是一名正在探索在Amazon Web Services上使用Dask的科学家。我对Dask有一些经验,但没有使用AWS的经验。我有几个大的自定义任务图表要执行,还有几个同事......

回答 1 投票 1

如何从dask包中获取未来的对象?

我需要从将来调用回调函数来执行任务的重试逻辑。但我不知道如何从dask包中获取未来的对象。例如,这是如何使用dask bag b = db ....

回答 1 投票 0

沿着dask数组的轴应用函数

我正在分析来自气候模型模拟的海洋温度数据,其中4D数据阵列(时间,深度,纬度,经度;下面用dask_array表示)通常具有(6000,31,189,192)的形状......

回答 2 投票 4

如何将Dask Dataframe转换为Dask数组?

我有一个dask数据帧对象,但想要一个dask数组。我该如何做到这一点?

回答 1 投票 2

在dask数据框中构建一个组合列以进行排序

基于这个答案在Dask中排序我想动态地构建组合列df_post ['sort_column'] = df_post.apply(lambda r:str([r [col1],r [col2],r [col3]]),axis = 1)df_post = df_post ....

回答 1 投票 -1

© www.soinside.com 2019 - 2024. All rights reserved.