用Java创建RocksDB SST文件进行批量加载

Question

我是RocksDB abd的新手，他试图在Java中创建SST文件以进行批量加载。最终用例是在Apache Spark中创建它。

我正在Ubuntu 18.04.03中使用rocksdbjni 6.3.6

我一直收到此错误，

org.rocksdb.RocksDBException: Keys must be added in order
    at org.rocksdb.SstFileWriter.put(Native Method)
    at org.rocksdb.SstFileWriter.put(SstFileWriter.java:104)
    at CreateSSTFile.main(CreateSSTFile.java:34)

示例代码为

 public static void main(String[] args) throws RocksDBException {
        RocksDB.loadLibrary();

        final Random random = new Random();


        final EnvOptions envOptions = new EnvOptions();
        final StringAppendOperator stringAppendOperator = new StringAppendOperator();
        Options options1 = new Options();
        SstFileWriter fw = null;
        ComparatorOptions comparatorOptions = new ComparatorOptions();

        try {

            options1 = options1
              .setCreateIfMissing(true)
              .setEnv(Env.getDefault())
              .setComparator(new BytewiseComparator(comparatorOptions));

            fw = new SstFileWriter(envOptions, options1);

            fw.open("/tmp/db/sst_upload_01");
            for (int index = 0; index < 1000; index++) {
                Slice keySlice = new Slice(("Key" + "_" + index).getBytes());
                Slice valueSlice = new Slice(("Value_" + index + "_" + random.nextLong()).getBytes());
                fw.put(keySlice, valueSlice);
            }

            fw.finish();
        } catch (RocksDBException ex) {
            ex.printStackTrace();
        } finally {
            stringAppendOperator.close();
            envOptions.close();
            options1.close();
            if (fw != null) {
                fw.close();
            }
        }
    }

如果循环索引小于10，则文件创建成功，并且我能够将其摄取到rock db中。

提前感谢。

Answer 1

我认为我发现了代码问题。

键必须是用于SST的键。我执行循环并使用String字典比较进行排序的方式会产生错误的排序。像比较“ 10”和“ 9”将破坏顺序。相反，如果我在插入SST文件之前对所有键进行排序，它就会起作用。

Map<String, String> data = new HashMap<>();
            for (int index = 0; index < 1000; index++) {
                data.put("Key-" + random.nextLong(), "Value-" + random.nextDouble());
            }

            List<String> keys = new ArrayList<String>(data.keySet());

            Collections.sort(keys);

            for (String key : keys) {
                Slice keySlice = new Slice(key);
                Slice valueSlice = new Slice(data.get(key));
                fw.put(keySlice, valueSlice);
            }

当我尝试使用整数键时，我发现了问题。