如何在 VS Code 中设置 pyspark？

Question

我正在尝试在 VS-Code 中运行 pypsark，但我似乎无法将我的环境指向正确的 pyspark 驱动程序和路径。当我在终端窗口中运行 pyspark 时，它看起来像这样：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.0.1
      /_/

Using Python version 3.8.3 (default, Jul  2 2020 11:26:31)
SparkSession available as 'spark'.

当我在 Vs-Code 中运行文件时，出现此错误：

File "/Users/myuser/opt/anaconda3/lib/python3.8/site-packages/pyspark/python/lib/pyspark.zip/pyspark/worker.py", line 477, in main
    ("%d.%d" % sys.version_info[:2], version))
Exception: Python in worker has different version 2.7 than that in driver 3.8, PySpark cannot run with different minor versions. Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

在我的 bash_profile 中，我认为我的设置正确：

export SPARK_PATH=~/spark-1.6.0-bin-hadoop2.6
export PYSPARK_PYTHON=python3
alias snotebook='$SPARK_PATH/bin/pyspark --master local[2]'

我知道它正在查看两个不同的版本，所以我需要做什么才能在 VS code 中正确配置我的环境来运行 pyspark？

Answer 1

我也有同样的问题。通过添加以下行来解决这个问题

<sparkHome>/conf/spark-env.sh

：

export PYSPARK_PYTHON=python3.8
export PYSPARK_DRIVER_PYTHON=python3.8

并且 在 vscode 中也将 python 解释器设置为 3.8（您可以从命令面板中设置它并输入

Python:Select Interpreter

。

如果您没有spark-env.sh，请复制

conf

文件夹中已有的模板文件。