bsddb3 DB.get / put挂起事务

问题描述 投票:0回答:1

我对Berkeley DB很新,我试图在Python中使用它与bsddb3进行电源安全事务使用DB_AUTO_COMMIT并且没有事务参数读取和写入工作正常。但是,当我通过手动事务调用get / put时,调用无限期地挂起,几乎不使用CPU(大约50k周期/秒)并且不执行磁盘I / O.

    _data_store_env.log_set_config(bdb.DB_LOG_AUTO_REMOVE, True)
    _data_store_env.set_lg_max(256 * 2**20)
    _data_store_env.set_cachesize(0, 512 * 2**20)
    _data_store_env.set_lg_dir(str(_journal_path))
    _data_store_env.set_tmp_dir(str(tmp_dir))
    _data_store_env.open(str(_bulk_data_path), bdb.DB_CREATE | bdb.DB_INIT_LOCK | bdb.DB_INIT_LOG | bdb.DB_INIT_MPOOL | bdb.DB_INIT_TXN | bdb.DB_RECOVER | bdb.DB_THREAD)

    # Originally I simply used DB_AUTO_COMMIT, but I changed it to see if this way would fix the hang. It didn't.
    txn = _data_store_env.txn_begin()

    _data_store = bdb.DB(_data_store_env)
    _data_store.set_flags(bdb.DB_CHKSUM)
    _data_store.set_pagesize(65536)
    _data_store.open("filestore.db", None, bdb.DB_HASH, bdb.DB_CREATE | bdb.DB_THREAD, 0x660, txn)

    _idx_store = bdb.DB(_data_store_env)
    _idx_store.set_flags(bdb.DB_CHKSUM | bdb.DB_DUPSORT)
    _idx_store.open("idxstore.db", None, bdb.DB_HASH, bdb.DB_CREATE | bdb.DB_THREAD, 0x660, txn)
    _data_store.associate(_idx_store, lambda key, data: key[0:9], bdb.DB_IMMUTABLE_KEY, txn)

    txn.commit()
...
    # It doesn't matter whether this flag is present or not. Both produce the same result.
    txn = _data_store_env.txn_begin(None, bdb.DB_TXN_BULK)
...
    # Never returns
    file_exists = _idx_store.has_key(entry_key, txn)
...
    # Also never returns
    _data_store.put(file_hash, file_data, txn)

难道我做错了什么?交易甚至可以在bsddb3中运行吗?

python-3.x berkeley-db bsddb
1个回答
0
投票

使用本机代码调试器进行了几个小时的调试后,我相信我已经非常接近根本原因了。似乎挂起不会发生在get / put调用中,而是在它之后 - 在get / put调用完成后调试器GUI执行的对数据库对象的len调用(以及程序运行时定期调用)自由)。这显然是陷入资源获取循环中,因为事务正在进行中从未完成(我没有用于构建bsddb3的符号 - 它静态链接到BDB,不能少 - 所以我不想花钱是时候弄清楚DB_length调用下的调用堆栈中的十几个函数了。这可能还与以下事实有关:当我将bsddb3引入项目时,任何调试器命令的响应时间增加到5秒(当它没有死锁时)。

总之,这似乎是试图使其变量窗口保持最新的调试器GUI与bsddb3 DB应该是映射的设计决策之间的有毒交互。我非常愿意接受如何解决这个问题的建议;我已经尝试过一些东西,但一直无法弄清楚如何从DB对象中删除len方法(它是一个只读属性,因为它是在C中实现的)。现在我正在创建一个围绕DB的包装器,它不是一个序列;除非您意外地将鼠标悬停在数据库对象上并且调试器尝试获取其属性,否则它将解决问题。

© www.soinside.com 2019 - 2024. All rights reserved.