HDFql 从 std::vector 迭代填充数据集

问题描述 投票：0回答：3

我正在尝试使用 HDFql 迭代填充 HDF5 文件中的数据集。我所说的迭代的意思是，我的模拟器偶尔会进行更新，我希望将更多数据（包含在 

std::vector
中）转储到我的数据集中。但奇怪的是，经过几次“迭代”后，某些东西发生了故障，我的数据集开始只填充零。

幸运的是，这个错误也发生在一个最小的示例中，并且似乎可以使用以下代码重现：

#include <stdio.h>
#include <random>
#include <HDFql.hpp>

int main (int argc, const char * argv[]) {
    HDFql::execute("CREATE TRUNCATE FILE /tmp/test_random.h5");
    HDFql::execute("USE FILE /tmp/test_random.h5");
    HDFql::execute("CREATE GROUP data");
    HDFql::execute("CREATE CHUNKED DATASET data/vals AS SMALLINT(UNLIMITED)");
    HDFql::execute("CLOSE FILE");
    std::stringstream ss;
    std::random_device rd;
    std::mt19937 eng(rd());
    std::uniform_int_distribution<> dist_vals(0, 500);
    std::uniform_int_distribution<> dist_len(300, 1000);
    for(int i=0; i<500; i++)
    {
        const int num_values = dist_len(eng);
        std::vector<uint16_t> vals;
        for(int i=0; i<num_values; i++)
        {
            const int value = dist_vals(eng);
            vals.push_back(value);
        }
        HDFql::execute("USE FILE /tmp/test_random.h5");

        ss << "ALTER DIMENSION data/vals TO +" << vals.size();
        HDFql::execute(ss.str().c_str()); ss.str("");

        ss << "INSERT INTO data/vals(-" << vals.size() << ":1:1:" << vals.size() 
            << ") VALUES FROM MEMORY " 
            << HDFql::variableTransientRegister(vals.data());
        HDFql::execute(ss.str().c_str()); ss.str("");

        HDFql::execute("CLOSE FILE");
    }
}

此代码运行 500 次“迭代”，每次用随机数量的随机数据填充数据向量。在我最近的运行中，最终输出 hdf 文件中数据单元 4065 之外的所有内容都为零。

所以我的问题是：我在这里做错了什么？ 非常感谢！

编辑

经过进一步的实验，我得出的结论是，这可能是 HDFql 中的一个错误。看下面的例子：

#include <stdio.h>
#include <random>
#include <HDFql.hpp>

int main (int argc, const char * argv[]) {
    HDFql::execute("CREATE TRUNCATE FILE /tmp/test_random.h5");
    HDFql::execute("USE FILE /tmp/test_random.h5");
    HDFql::execute("CREATE CHUNKED DATASET data/vals AS SMALLINT(0 TO UNLIMITED)");

    std::stringstream ss;
    std::random_device rd;
    std::mt19937 eng(rd());
    std::uniform_int_distribution<> dist_vals(0, 450);
    std::uniform_int_distribution<> dist_len(100, 300);
    int total_added = 0;

    for(int i=0; i<5000; i++)
    {
        const int num_values = 1024; //dist_len(eng);
        std::vector<uint16_t> vals;
        for(int j=0; j<num_values; j++)
        {
            const int value = dist_vals(eng);
            vals.push_back(value);
        }

        long long dim=0;
        ss << "SHOW DIMENSION data/vals INTO MEMORY " << HDFql::variableTransientRegister(&dim);
        HDFql::execute(ss.str().c_str()); ss.str("");

        ss << "ALTER DIMENSION data/vals TO +" << vals.size();
        HDFql::execute(ss.str().c_str()); ss.str("");

        ss << "INSERT INTO data/vals(-" << vals.size() << ":1:1:" << vals.size()
            << ") VALUES FROM MEMORY "
            << HDFql::variableTransientRegister(vals.data());
        HDFql::execute(ss.str().c_str()); ss.str("");

        total_added += vals.size();
        std::cout << i << ": "<<  ss.str() << ":  dim = " << dim
                << " : added = " << vals.size() << " (total="
                << total_added << ")" << std::endl;

    }

    HDFql::execute("CLOSE FILE");
}

此代码将数据大小保持在 1024 (

num_values = 1024;
) 不变，并且应该可以正常工作。但是，如果将其更改为 1025，则会出现错误并通过控制台输出证明：

....
235: :  dim = 240875 : added = 1025 (total=241900)
236: :  dim = 241900 : added = 1025 (total=242925)
237: :  dim = 0 : added = 1025 (total=243950)
238: :  dim = 0 : added = 1025 (total=244975)
239: :  dim = 0 : added = 1025 (total=246000)
....

表示在迭代 470 处出现问题，因为数据集的维度显然不为零。

奇怪的是，这并不能解释为什么我在原始示例中遇到这个问题，因为数据数组的大小上限为 500。

hdf5 hdf hdfql
3个回答
1
投票

为了回复您上面的编辑，将 

num_values
设置为 
1025
来扩展数据集的维度没有问题。

这是我用来测试这个的代码片段：

#include <iostream>
#include "HDFql.hpp"

int main(int argc, char *argv[])
{

    char script[1024];
    int total_added = 0;
    int num_values = 1025;

    HDFql::execute("CREATE TRUNCATE AND USE FILE /tmp/test_random.h5");

    HDFql::execute("CREATE CHUNKED DATASET data/vals AS SMALLINT(0 TO UNLIMITED)");

    for(int i = 0; i < 5000; i++)
    {
        long long dim = 0;
        sprintf(script, "SHOW DIMENSION data/vals INTO MEMORY %d", HDFql::variableTransientRegister(&dim));
        HDFql::execute(script);

        sprintf(script, "ALTER DIMENSION data/vals TO +%d", num_values);
        HDFql::execute(script);

        total_added += num_values;
        std::cout << i << ": " << ":  dim = " << dim << " : added = " << num_values << " (total=" << total_added << ")" << std::endl;
    }

    HDFql::execute("CLOSE FILE");

}
1
投票

您在外部和内部 

i
循环中都使用了变量 
for
，这是错误的。另外，作为建议，您发布的代码片段可以通过以下方式进行优化：

  1. 无需创建组 

    data
    ，就像创建数据集 
    data/vals
    时一样，HDFql 将 
    data
    创建为组（如果不存在）并将 
    vals
    创建为数据集。

  2. 无需在循环内打开和关闭文件

    /tmp/test_random.h5
    （因为这会降低性能）；只需在代码开头打开文件并在代码末尾关闭它即可。

这是更正/重构的代码：

#include <stdio.h>
#include <random>
#include <HDFql.hpp>

int main (int argc, const char * argv[]) {

    HDFql::execute("CREATE TRUNCATE AND USE FILE /tmp/test_random.h5");

    HDFql::execute("CREATE CHUNKED DATASET data/vals AS SMALLINT(0 TO UNLIMITED)");

    std::stringstream ss;
    std::random_device rd;
    std::mt19937 eng(rd());
    std::uniform_int_distribution<> dist_vals(0, 500);
    std::uniform_int_distribution<> dist_len(300, 1000);

    for(int i=0; i<500; i++)
    {
        const int num_values = dist_len(eng);
        std::vector<uint16_t> vals;
        for(int j=0; j<num_values; j++)
        {
            const int value = dist_vals(eng);
            vals.push_back(value);
        }

        ss.str("");
        ss << "ALTER DIMENSION data/vals TO +" << vals.size();
        HDFql::execute(ss);

        ss.str("");
        ss << "INSERT INTO data/vals[-" << vals.size() << ":1:1:" << vals.size() 
            << "] VALUES FROM MEMORY " 
            << HDFql::variableTransientRegister(vals);
        HDFql::execute(ss);

    }

    HDFql::execute("CLOSE FILE");

}
0
投票

所以我找出了问题所在 - 在下面，第一个示例有效，而第二个示例无效：

有效

#include <stdio.h>
#include <random>
#include <HDFql.hpp>

int main (int argc, const char * argv[]) {
    int total_added = 0;
    std::random_device rd;
    std::mt19937 eng(rd());
    std::uniform_int_distribution<> dist_vals(0, 450);
    std::uniform_int_distribution<> dist_len(100, 300);
    const int fixed_buffer_size = 10000;

    HDFql::execute("CREATE TRUNCATE FILE /tmp/test_random.h5");
    HDFql::execute("USE FILE /tmp/test_random.h5");
    HDFql::execute("CREATE CHUNKED DATASET data/vals AS INT(0 TO UNLIMITED)");

    for(int i = 0; i < 5000; i++)
    {
        const int num_values = dist_len(eng);
        std::vector<int> vals(fixed_buffer_size);
        long long dim = 0;
        sprintf(script, "SHOW DIMENSION data/vals INTO MEMORY %d", HDFql::variableTransientRegister(&dim));
        HDFql::execute(script);

        sprintf(script, "ALTER DIMENSION data/vals TO +%d", num_values);
        HDFql::execute(script);

        for(int j=0; j<num_values; j++)
        {
            const int value = dist_vals(eng);
            vals.at(j) = value;
        }
        sprintf(script, "INSERT INTO data/vals(-%d:1:1:%d) VALUES FROM MEMORY %d", num_values, num_values, HDFql::variableTransientRegister(vals.data()));
        HDFql::execute(script);
        HDFql::execute("FLUSH");

        total_added += num_values;
        std::cout << i << ": " << ":  dim = " << dim << " : added = " << num_values << " (total=" << total_added << ")" << std::endl;
    }

    HDFql::execute("CLOSE FILE");
}

失败

#include <stdio.h>
#include <random>
#include <HDFql.hpp>

int main (int argc, const char * argv[]) {
    int total_added = 0;
    std::random_device rd;
    std::mt19937 eng(rd());
    std::uniform_int_distribution<> dist_vals(0, 450);
    std::uniform_int_distribution<> dist_len(100, 300);

    HDFql::execute("CREATE TRUNCATE FILE /tmp/test_random.h5");
    HDFql::execute("USE FILE /tmp/test_random.h5");
    HDFql::execute("CREATE CHUNKED DATASET data/vals AS INT(0 TO UNLIMITED)");

    for(int i = 0; i < 5000; i++)
    {
        const int num_values = dist_len(eng);
        std::vector<int> vals(num_values);
        long long dim = 0;
        sprintf(script, "SHOW DIMENSION data/vals INTO MEMORY %d", HDFql::variableTransientRegister(&dim));
        HDFql::execute(script);

        sprintf(script, "ALTER DIMENSION data/vals TO +%d", num_values);
        HDFql::execute(script);

        for(int j=0; j<num_values; j++)
        {
            const int value = dist_vals(eng);
            vals.at(j) = value;
        }
        sprintf(script, "INSERT INTO data/vals(-%d:1:1:%d) VALUES FROM MEMORY %d", num_values, num_values, HDFql::variableTransientRegister(vals.data()));
        HDFql::execute(script);
        HDFql::execute("FLUSH");

        total_added += num_values;
        std::cout << i << ": " << ":  dim = " << dim << " : added = " << num_values << " (total=" << total_added << ")" << std::endl;
    }

    HDFql::execute("CLOSE FILE");
}

两者之间唯一的区别在于，第一个数据缓冲区的大小vals是固定的，而第二个数据缓冲区的大小是动态随机创建的。
我不明白为什么会发生这个错误，因为在 C++ 中，

std::vector

s 

应该
让底层数据在内存中连续，并且与 C 数组和指针魔术完全兼容。但显然编译器在每个示例中都做了不同的事情。无论如何，我希望这可以帮助其他人解决这个问题 - 解决方案是使用固定大小的数据缓冲区。

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.