在 AWS SageMaker Studio 实验室中运行 PySpark 语句

Question

各位： 如果这是一个非常基本的问题，我深表歉意。我正在尝试 SageMaker Studio Lab https://studiolab.sagemaker.aws

创建新笔记本后，我注意到有两个内核可供选择：

• 默认：Python
• sagemaker-发行版：Python

然而，这些似乎都不支持 PySpark 编码。

当我尝试设置 PySpark 会话时，收到有关未设置 JAVA_HOME 的错误。

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .master("local") \
    .appName("My ML Application") \
    .config("fs.s3a.endpoint", "s3.amazonaws.com") \
    .getOrCreate()


JAVA_HOME is not set

有没有办法使用 SageMaker Studio Lab 在 PySpark 中进行编码？

Answer 1

我面临着同样的问题，并通过以下答案解决了：https://repost.aws/questions/QUIruPbWNHQ2iqZsDZEj41hA/java-not-found-when-running-sagemaker-studio-python-notebooks#ANENCXCwUIQ_6S1QBhrrrw1w

由于我想通过 Sagemaker 中的终端运行一些脚本，因此我复制了两个 yum 命令并在 Sagemaker 终端中运行它们，它为我设置了 JAVA_HOME。