适用于多个存储桶的Couchbase / Elasticsearch连接器

问题描述 投票:2回答:1

有没有办法使用单个配置文件将2个或多个couchbase存储桶复制到elasticsearch?

我实际上使用这个版本的couchbase elasticsearch连接器:https://docs.couchbase.com/elasticsearch-connector/4.0/index.html

我确实正确地复制了我的数据,但每次都需要使用不同的配置文件(.toml)为每个桶运行一个命令。

顺便说一句,无法在同一服务器上多次运行cbes命令,因为指标端口31415已在使用中。

有没有办法一次处理多个连接器组?

elasticsearch couchbase elasticsearch-plugin xdcr
1个回答
1
投票

在4.0版中,单个连接器进程只能从一个存储桶复制。这是因为索引规则和Couchbase Server的所有底层网络连接都限定在桶级别。

目前的建议是创建多个配置文件并运行多个连接器进程。据了解,如果要复制大量存储桶,管理起来可能很复杂。

如果您愿意发挥创意,可以为多个存储桶使用相同的配置文件模板。我们的想法是你编写一个包含一些占位符的配置文件,然后通过运行一个脚本来生成实际的配置文件,该脚本用每个连接器的正确值替换占位符。

连接器的下一次更新将添加built-in support for environment variable substitution in the config file。这可以使模板方法更容易。

以下是一些避免度量标准端口冲突的选项:

  • 通过将httpPort部分中的[metrics]密钥设置为-1来禁用度量报告。
  • 或使用随机端口将其设置为0
  • 或者使用上述模板思想,并将唯一的端口号插入每个生成的配置文件中。

值得一提的是,未来版本的连接器将支持我们称之为“Autonomous Operations Mode”的东西。当连接器以此模式运行时,配置将存储在中央位置(可能是Consul服务器)。可以即时重新配置连接器组,并向组中添加或删除工作程序,而无需停止所有工作程序并编辑其配置文件。希望这将简化大型部署的管理。

热门问题
推荐问题
最新问题