hdf5 相关问题

分层数据格式(HDF5)是一种二进制文件格式,用于存储大量数字数据。


HDF5数据集只存储0 /空值

我正在将CSV文件写入HDF5文件,以便在不占用内存的情况下以更好的方式加载信息。我的CSV文件包含一些索引,我正在通过...

回答 1 投票 0

在julia中并行保存数据

例如,在将许多作业提交到群集时,我遇到了一个问题,其中每个作业正在计算一些数据并将其(在.jld文件中包含许多变量)保存到某个驱动器中,例如...

回答 1 投票 1

在fortran中通过hdf5写出一块MPI分布式数据

我有一个3d数组,分布在不同的MPI过程中:real :: DATA(i1:i2,j1:j2,k1:k2)其中,每个MPI过程i1,i2,...都不相同,但是MPI网格是笛卡尔为简单起见,让我们...

回答 1 投票 0

Python for hdf5文件中非数字文件夹的循环

我想从.HDF5数据文件中提取数字,该文件位于数字递增的文件夹中:Folder_001,Folder_002,Folder_003,... Folder_100。在每个文件夹中,我要提取的数据具有相同的...

回答 1 投票 1

如何在JAVA中使用HDFql获取数据集中的字符串类型数据?

我是HDF5和HDFql的新手,我在Java中工作,我有一个.h5文件,其中包含多个组,在每个组中,我有不同的数据集,其中一些是浮动数组,得到的结果如下。 https:// gyazo ....

回答 1 投票 0

如何确保大型HDF5中的唯一行

我正在努力在HDF5表中实现相对较大的时间序列数据集(不断增长的5,000,000)。我需要一种每天删除一次重复运行的方法。作为我的...

回答 1 投票 2

将hdf5附加到另一个hdf5文件中

我有几个具有相同形状的hdf5文件,其中包含x和y列。我需要附加这些文件,以获得一个包含所有数据的hdf5文件。到目前为止我的代码:def append_to_h5(new_file,...

回答 1 投票 3

Pandas and HDF5

我有一个.hdf5文件,其中包含多个数据集(signal,filtered_signal,metadata)。每个数据集都是使用Pandas数据框创建的。存储= pd.HDFStore(event_file_path,mode =“ w”)存储....

回答 1 投票 0

读取HDF5作为Dask Dataframe时出错,为什么?

1。我的问题是,尝试使用Dask读取我的HDF5文件时出现下一个错误,我不知道为什么>>> dd.read_hdf(“ test.h5”,key =“ / RECORDS / STATES”)追溯(最近一次调用)最后):...

回答 1 投票 0

如何从HDF文件提取数据?

我有一个HDF文件(.h5),它具有以下层次结构,我从未使用过这种数据。我认为“条形码”应该是我的列,“功能/名称”应该是我的行,“数据” ...

回答 4 投票 0

Iterator类无法对用h5py打开的HDF5数据引发StopIteration

我正在尝试为h5数据集实现一个可迭代的类。 class Argh():def __init __(self,data):self.data =数据self.c_idx = 0 def __getitem __(self,idx):...

回答 1 投票 0

HDF5到CSV转换期间出现多个错误

我有一个巨大的h5文件,需要将每个数据集提取到一个单独的csv文件中。模式类似于/ Genotypes / GroupN / SubGroupN /具有“ N”个组和“ N”个子组的调用。我已经创建了...

回答 2 投票 0

[C ++代码创建空HDF5文件而不是数据集

我在班上有以下代码来创建带有零矩阵的HDF5文件。但是,它将创建一个完全没有数据集的空hdf5文件。如何将数据集写入文件? #include&...

回答 1 投票 0

使用vaex绘制大数据

我一直在努力创建具有数百万行的csv图。我试图使用vaex模块,但卡住了.. import vaex#将大的csv转换并读取为hdf5格式df = vaex.open(“ ...

回答 1 投票 1

使用OpenCV readNetFromTensorFlow运行Keras DNN模型(UNet):错误:未知的图层类型op解码器中的Shape_stage0_upsampling / Shape

Python版本3.7 Keras版本2.3.1 TensorFlow版本1.14.0我想使用C ++中的OpenCV的readNetFromTensorflow运行我的UNet Keras模型。我已成功将我的HDF5文件转换为....

回答 1 投票 3

如何使用带有包含numpy数组的单元格的熊猫创建和附加到hdf5表?

我想创建一个3列的h5数据库,x:np.array,y:int32,z:np.array。但是我不断收到奇怪的错误。 store = pd.HDFStore('store.h5')df = pd.DataFrame(columns = ['x','y','z'])df ['y'] ...

回答 1 投票 0

HDF5数据加载非常慢。在GPU中导致零%的波动性

我正在使用自定义PyTorch数据类从我创建的H5数据集中加载实例。但是,加载样品时它似乎非常慢。在处理...

回答 1 投票 0

为什么我不能从一个文件夹中读取多个HDF5文件?同时,我可以很好地读取单个HDF5文件…(Python 3.7)

我在一些代码读取目录中存储的多个HDF5文件时遇到麻烦。我希望能够读取所有数据,然后打印存储在HDF5文件中的数据集之一。我有一个文件夹...

回答 2 投票 1

[试图打开h5py中的熊猫创建的hdf时缺少列

这是我的数据框的外观。第一列是单个int。第二列是512个整数的单个列表。 IndexID ID 1899317 [0,47715,1757,9,38994,230,12,241,12228 ... 22861131 ...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.