无法将批量加载的数据加载到Dgraph中

问题描述 投票:2回答:1

我通过--reduce_shards=2上的文档使用here从bulkloader生成数据

这会生成2个p目录,在此alphas之后我运行了link

命令我在顶级目录中使用了dgraph zero --my=IPADDR:5080

然后我cd到out目录并使用/0/pdgraph alpha --lru_mb=4096 --my=IPADDR:7080 --zero=localhost:5080上运行一个alpha

如果我在这一点检查ratel,那一切都很好

然后我cd到out目录并使用/1/pdgraph alpha --lru_mb=4096 --my=IPADDR:7081 --zero=localhost:5080 -o=1上运行第二个alpha

运行正常,但未加载来自此/1/p目录的数据,并且ratel开始在架构中显示错误

我试过的其他两个选项

  1. 我使用--reduce_shards=1进行批量加载,只运行一个alpha,一切正常
  2. 我停止了第一次alpha并在/1/p上运行alpha其他谓词开始出现并且运行良好,但现在/0/p数据消失了
rdf graph-databases dgraph
1个回答
0
投票

多组批量加载存在一个已知错误,其中应由其他Alpha组提供的数据不会出现在查询中。这将在v1.0.12版本中修复,该版本将在第二天左右发布。

目前,您可以为多组群集执行批量加载的方法是执行以下操作:

  1. 为单个组运行Dgraph Bulk Loader(在--reduce_shards=1输出单个数据目录的./out/0/p
  2. 使用批量加载的数据目录启动第一个Alpha,然后
  3. 启动加入群集的其他Alpha作为不同组的成员。

8分钟后(或在--rebalance_interval中设置的持续时间之后),Dgraph Zero将重新平衡不同组中的谓词:

$ dgraph zero --help
...
      --rebalance_interval duration   Interval for trying a predicate move. (default 8m0s)
© www.soinside.com 2019 - 2024. All rights reserved.