您可以使用脚本来启动Spark群集节点吗?

问题描述 投票:0回答:1

我正在AWS EC2的四节点集群上运行Hadoop和Spark。

经过大量的网络研究之后,似乎可以在集群上启动Spark(一旦Hadoop运行)的方式是:

1)登录到主节点并运行start-master.sh。

2)登录到每个从节点并运行start-slave.sh,并向其传递主节点的DNS和端口信息。

我的问题是:如果有20个节点,这是非常繁琐且耗时的。有没有办法像启动Hadoop那样从某个本地化位置启动Spark?从主节点运行Hadoop时,它将远程启动所有从节点。我正在寻找这样的解决方案,或者寻找可以SSH进入节点并启动它们的python脚本。

apache-spark amazon-ec2
1个回答
0
投票

您可以使用Apache Ambari来管理整个集群,它将为您SSH到所有节点

否则,您可以使用Ansible之类的系统来配置和启动所有服务

但是听起来好像您仅使用Spark Standalone,而不是YARN,因为没有针对YARN的启动-从属脚本

© www.soinside.com 2019 - 2024. All rights reserved.