在 EMR 6.8 上运行的 Python 版本

Question

EMR 6.8 支持什么版本的 Python？

看起来 EMR 的早期版本支持 Python 3.7，该版本将在 6 个月后弃用。

EMR 6.8 运行 Spark 3.3.0，最高支持 Python 3.9。

我在官方发布指南上找不到答案： https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-680-release.html

Answer 1

• EMR 6.8.0 与 Spark/PySpark 3.3.0 一致，根据 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-6x.html
• PySpark 3.3.0 支持 Python 3.7 及更高版本，根据 https://spark.apache.org/docs/3.3.0/api/python/getting_started/install.html#python-version-supported
• 和向上当然意味着 3.7、3.8、3.9 和 3.10，因为根据各自的发布计划 PEP，这些是稳定且当前受支持的 Python 版本：
  • 3.10 PEP 619
  • 3.9 PEP 596
  • 3.8 PEP 569
  • 3.7 PEP 537

您可以使用哪种 Python 是一个关于您在 EMR 中使用哪种计算来运行 PySpark 的问题。如果您想要另一个 Python，您可能需要选择另一个 AMI、不同的容器映像，或者直接与 AWS 联系。

Answer 2

由于 Python 3.7 在 6 个月内失去支持，我还遇到了需要在 EMR 上使用特定 Python 版本的问题。

我认为解决方案是使用虚拟环境来触发步骤。以下是一些人们声称已经成功做到这一点的来源。

https://github.com/aws-samples/emr-serverless-samples/blob/main/examples/pyspark/custom_python_version/README.md

https://blog.datank.ai/make-the-most-out-of-emr-with-pyspark-and-pyenv-954c028a7552

Answer 3

自从提出这个问题以来，他们已使用您提供的信息更新了页面 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-app-versions-6.x.html正在找。现在有一个包含 Python 版本的行项目。

emr-6.8.0 包括 Python 版本 2.7、3.7。