hdf5 相关问题

分层数据格式(HDF5)是一种二进制文件格式,用于存储大量数字数据。

在具有可扩展时间维度的HDF5中存储时间序列数据

我想将时间序列数据以可扩展的时间维度存储在HDF5中。我正在为将额外的数据部分写入(追加)数据集的最后一步而苦苦挣扎。主要数据...

回答 2 投票 0

module'h5py'没有属性'string_dtype'

我正在尝试在python 3.7中保存一个字符串。在h5py文档页面中,所有内容都与此类数据类型有关:dt = h5py.string_dtype(encoding ='ascii')但是,当我尝试它时,我得到了...

回答 1 投票 0


如何更改automake在何处安装libtool库?

我正在开发一个免费软件项目:https://github.com/ccr/ccr在这个项目中,我正在构建一些共享对象库,它们实际上是HDF5的插件。我不想安装这些...

回答 1 投票 0

脚本可在Jupyter笔记本中使用,无法从命令行或Atom IDE中使用

我通过Anaconda安装了python,并希望将相当大的数据帧序列化为磁盘文件。这在Jupyter笔记本电脑上运行良好,但从Atom IDE或命令提示符运行时失败(i ....

回答 1 投票 0

h5py读取时间在读取速度上有随机且剧烈的波动

我正在使用h5py读取预处理数据,以将其输入到卷积神经网络中。所有输入图像的尺寸均相同。我正在使用以下读取/写入语法:#读取x = h5py.File(...

回答 1 投票 4

需要使用Purrr :: map_dfc传递数据文件

我的代码可以很好地处理90%的H5文件。但是,我有200多个文件中的3个文件,其中一列数据只有一个额外的条目,而不是3212,它具有3213。我无法输入,并且...

回答 1 投票 0

读取HDF5文件[关闭]

是否有使用Scala版本的Spark读取HDF5文件的方法?看起来可以在Python中完成(通过Pyspark),但是我找不到Scala的任何东西。

回答 3 投票 9


带有并行支持的HDF5,但未找到mpi特定功能

我正在尝试从依赖于hdf5的trilinos来源进行编译。如本指南中所述,可以在必要时为hdf5配置并行支持,我通过传递HDF5_ENABLE_PARALLEL = ...

回答 1 投票 0

matplotlib-高度矩形阵列中的3d表面

我正在尝试在matplotlib中绘制一些HDF数据。使用h5py导入它们后,数据以数组形式存储,如下所示:array([[[151,176,178],[121,137,130],[120,125,...

回答 1 投票 15

在postgresql中存储一个大矩阵,然后在python中进行操作

我有一个大矩阵,目前存储在特定表中。每个矩阵行都有一个与不同表相关的特定ID。 (这就是为什么我使用RDBMS的原因)。目前,我正在使用“ ...

回答 1 投票 1

h5py:如何组织HDF5文件以有效读取混合数据类型对象

我目前正在使用python3.x,并使用h5py库写入/读取HDF5文件。假设我有大量包含混合数据类型属性的元素。我想...

回答 1 投票 1

将dask数据帧保存到hdf5

我有一个带有cols [ID,'PERIOD','CURRENCY']的简单数据框,在其中我将PERIOD创建为datetime.datetime.strptime(''201901,“%Y%m”)。date()的地方使用以下命令保存此数据帧:dd.to_hdf('...

回答 1 投票 0

[FileNotFoundError,当使用Pandas在python中从S3读取.h5文件时]]

出于某种原因,当我尝试使用pandas.read_hdf()方法从S3读取hdf文件时,在放置s3网址时出现FileNotFoundError。该文件肯定存在,并且我尝试使用...

回答 1 投票 0

将.h5文件保存到SQL数据库中

我已经使用Python / Keras建立了一些神经网络。我将权重以标准Keras方式保存在本地计算机上,作为.h5文件。我不太熟悉h5 / hdf5协议,但我想...

回答 1 投票 2

写入时间长,使用Dask从hdf5文件到numpy堆栈的读取时间短

我正在使用Dask进行实验,这有点复杂,因此我无法真正提供代码段。此实验使用仅具有一个线程(“单线程”)的dask线程调度程序来加载...

回答 1 投票 0

Hdf5文件中未显示列

我有一个大数据集(13亿个数据),我想用Vaex可视化。由于csv中的数据集非常大(520个单独的文件中大约130gb),因此我将它们与pandas合并为hdf5文件...

回答 1 投票 0

Pandas过滤并转换为Date to datetime64ns

我正在尝试找出问题,但到目前为止,我找不到任何解决方案,希望您可以提供帮助。我有一个DataFrame,我想将str转换为datatime,但是有一些无效的行...

回答 2 投票 1

将通过pandas / pytables编写的大型hdf5数据集转换为vaex

我有一个非常大的数据集,我通过追加将其大块写入hdf5,如下所示:使用pd.HDFStore(self.train_store_path)作为train_store:用于tqdm(filepaths)中的文件路径:具有open(filepath,'rb'...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.