Pypspark 错误：Java 网关进程在 Windows 中发送其端口号错误之前退出

Question

我正在尝试在 Windows 中的 jupyter（通过 anaconda）上运行 pyspark。在尝试创建 SparkSession 时遇到下面提到的错误。

异常：Java 网关进程在发送其端口号之前退出

错误快照1

错误快照2

我什至尝试将 JAVA_HOME、SPARK_HOME 和 HADOOP_HOME 路径添加到环境变量中：

1. JAVA_HOME：C:\Java\jdk-11.0.16.1
2. SPARK_HOME:C:\Spark\spark-3.1.3-bin-hadoop3.2
3. HADOOP_HOME:C:\Spark\spark-3.1.3-bin-hadoop3.2

即使在此之后我仍面临同样的问题。

PS：我的pyspark版本是3.3.1，python版本是3.8.6。

Answer 1

根据 Spark 文档，如果仅使用 N 个核心，则用于设置 master 的字符串应为“local[*]”或“local[N]”。如果省略主设置，则默认为“local[*]”。

Answer 2

经过多次尝试，我终于解决了这个问题。出现这个错误是因为windows防火墙屏蔽了java。一旦我授予访问权限，错误就得到纠正！