EMR引导程序失败

问题描述 投票:0回答:1

我正在尝试在AWS EMR中运行以下启动脚本,但失败而未提供错误消息。我已经为以下应用程序设置了EMR集群:Spark,Hive,Ganglia和Livy。

!/ bin / bash

sudo pip-3.6安装-U \matplotlib \熊猫\spark-nlp

我使用的是EMR版本6。以前,我们只使用“ pip”而不是“ pip-3.6”,但是仍然出错,因此我们决定尝试使用“ pip-3.6”,因为我们假设EMR 6具有python 3.6。

请让我知道这可能是什么问题。

谢谢!

amazon-web-services apache-spark pyspark amazon-emr
1个回答
0
投票

您可以尝试在正在运行的EMR群集上运行脚本,以确保其正常运行。 Emr的emr6发行说明建议python3是default。https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-6x.html

并且经过快速检查,似乎它与python3.7一起提供。这就是为什么您的脚本可能无法正常工作的原因。

因此改为尝试使用

$ sudo pip3安装matplotlib ...

$ sudo python -m pip3安装matplotlib ...

© www.soinside.com 2019 - 2024. All rights reserved.