我在我的操作系统 windows 11 64 位的笔记本电脑上安装了 Spark 集群,并且运行顺利。
在本地计算机上保存数据帧时,我收到以下错误 -
df.write.mode('overwrite').csv("/Users/sarve/Downloads/")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\SPARK\python\pyspark\sql\readwriter.py", line 1864, in csv
self._jwrite.csv(path)
File "C:\SPARK\python\lib\py4j-0.10.9.7-src.zip\py4j\java_gateway.py", line 1322, in __call__
File "C:\SPARK\python\pyspark\errors\exceptions\captured.py", line 179, in deco
return f(*a, **kw)
^^^^^^^^^^^
File "C:\SPARK\python\lib\py4j-0.10.9.7-src.zip\py4j\protocol.py", line 326, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o148.csv.
: java.io.IOException: Cannot run program "C:\HADOOP\bin\winutils.exe": CreateProcess error=216, This version of %1 is not compatible with the version of Windows you're running. Check your computer's system information and then contact the software publisher
我用来保存文件的代码
df.write.mode('overwrite').csv("/Users/sarve/Downloads/")
我用来下载 winutils 文件的 github 链接(根据错误消息,该文件不兼容) - https://github.com/steveloughran/winutils
请让我知道该怎么做
这里同样的问题。我找不到适用于 Windows 11 的版本。您是否设法找到修复或解决方法?我正在尝试学习 Spark 课程,遵循所有说明,但显然对最新版本的 Windows 没有好处...... 希望我不必在 Linux 虚拟机上搞乱。