适用于多个存储桶的Couchbase / Elasticsearch连接器

Question

有没有办法使用单个配置文件将2个或多个couchbase存储桶复制到elasticsearch？

我实际上使用这个版本的couchbase elasticsearch连接器：https://docs.couchbase.com/elasticsearch-connector/4.0/index.html

我确实正确地复制了我的数据，但每次都需要使用不同的配置文件（.toml）为每个桶运行一个命令。

顺便说一句，无法在同一服务器上多次运行cbes命令，因为指标端口31415已在使用中。

有没有办法一次处理多个连接器组？

Answer 1

在4.0版中，单个连接器进程只能从一个存储桶复制。这是因为索引规则和Couchbase Server的所有底层网络连接都限定在桶级别。

目前的建议是创建多个配置文件并运行多个连接器进程。据了解，如果要复制大量存储桶，管理起来可能很复杂。

如果您愿意发挥创意，可以为多个存储桶使用相同的配置文件模板。我们的想法是你编写一个包含一些占位符的配置文件，然后通过运行一个脚本来生成实际的配置文件，该脚本用每个连接器的正确值替换占位符。

连接器的下一次更新将添加built-in support for environment variable substitution in the config file。这可以使模板方法更容易。

以下是一些避免度量标准端口冲突的选项：

• 通过将httpPort部分中的[metrics]密钥设置为-1来禁用度量报告。
• 或使用随机端口将其设置为0。
• 或者使用上述模板思想，并将唯一的端口号插入每个生成的配置文件中。

---

值得一提的是，未来版本的连接器将支持我们称之为“Autonomous Operations Mode”的东西。当连接器以此模式运行时，配置将存储在中央位置（可能是Consul服务器）。可以即时重新配置连接器组，并向组中添加或删除工作程序，而无需停止所有工作程序并编辑其配置文件。希望这将简化大型部署的管理。