如何在hadoop工作机器之间同步配置

Question

我们有庞大的hadoop集群，我们安装了一个协调器preso节点和850个presto worker节点。现在我们要更改文件中的值 - config.properties但这应该在所有工作人员上完成！

所以

  /opt/DBtasks/presto/presto-server-0.216/etc

文件是这样的

[root@worker01 etc]# more config.properties
#
coordinator=false
http-server.http.port=8008
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery.uri=http://master01.sys76.com:8008 

我们想把它改成

coordinator=false
http-server.http.port=8008
query.max-memory=500GB
query.max-memory-per-node=5GB
query.max-total-memory-per-node=20GB
discovery.uri=http://master01.sys76.com:8008 

但这只在第一个节点 - worker01上完成，但我们也需要在所有工作人员上完成。好吧 - 我们可以通过scp将这个文件复制到所有其他工作者，但是如果root被限制但不是我想知道的，如果presto已经考虑过更优雅的方法来同步所有工作节点上的配置，因为我们设置后都知道了我们还需要重新启动presto louncer脚本的新值

presto有解决方案吗？

我必须告诉我的集群是受限制的root，所以我们无法复制文件VIA ssh

Answer 1

Presto无法同步配置。这是你需要在外面管理的东西，例如使用像Ansible这样的工具。还有项目命令行工具presto-admin（https://github.com/prestosql/presto-admin），可以帮助在整个集群中部署配置。

此外，如果您使用的是公共云，例如AWS，Starburst（https://www.starburstdata.com/）提供的商业解决方案也可以帮助管理配置。