如何hdf5（Hdfsl）文件（一列读取）读取（大尺寸文件）

Question

我正在使用 HDF5DotNet 和 C#，我只能读取完整数据作为数据集中的附加图像。 hdf5文件太大了，将近1.4GB，如果我把整个数组加载到内存中就会内存不足。

我想读取一列中的所有数据

double[] values = new double[203572];

string m_Doc_01 = "data/sample/line";

HDFql.Execute("USE DIRECTORY " + "\"" + File_Directory + "\""); 
HDFql.Execute("USE FILE " + "\"" + File_Name + "\"");
HDFql.Execute("CREATE CHUNKED(1, 203572) DATASET my_dataset_BS AS DOUBLE(2050, 203572)");

如何获取“m_Doc_01 ==> my_dataset_BS”数据 ??? ???

for (int i = 0; i < 2050; i++)
    {
      HDFql.Execute("SELECT FROM " + "\"" + m_Doc_01 + "\"" + "(1:::1)  INTO MEMORY " + HDFql.VariableRegister(values));
    }

Answer 1

要阅读屏幕截图中突出显示的列（即第 0 列），您必须将超板更改为（请注意 0）：

HDFql.Execute("SELECT FROM " + "\"" + m_Doc_01 + "\"" + "[, 0:::1]  INTO MEMORY " + HDFql.VariableRegister(values));

也就是说，如果您想循环遍历数据集并一次读取一列，请执行以下操作（最好在循环开始之前注册变量

values

，并在循环完成后取消注册它 - 这将提高性能）：

number = HDFql.VariableRegister(values);

for(int i = 0; i < 2050; i++)
{ 
    HDFql.Execute("SELECT FROM " + "\"" + m_Doc_01 + "\"" + "[, " + i + ":::1]  INTO MEMORY " + number);

    // do something with variable "values" (which contains the values of column #i)
}

HDFql.VariableUnregister(values);