zeppelin spark.pyspark 解释器错误：AttributeError: 'SparkSession' object has no attribute '_wrapped'

Question

使用 %spark.pyspark 解释器时，出现错误：

org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: Fail to bootstrap pyspark
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:844)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:752)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
    at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
    at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
    at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)
    at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)
    at java.base/java.lang.Thread.run(Thread.java:834)
Caused by: org.apache.zeppelin.interpreter.InterpreterException: Fail to bootstrap pyspark
    at org.apache.zeppelin.spark.PySparkInterpreter.open(PySparkInterpreter.java:105)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    ... 8 more
Caused by: java.io.IOException: Fail to run bootstrap script: python/zeppelin_pyspark.py
Fail to execute line 54:   sqlc = __zSqlc__ = __zSpark__._wrapped
Traceback (most recent call last):
  File "/tmp/hadoop-root/nm-local-dir/usercache/root/appcache/application_1680782064460_0001/container_1680782064460_0001_01_000001/tmp/python16531023262914108461/zeppelin_python.py", line 162, in <module>
    exec(code, _zcUserQueryNameSpace)
  File "<stdin>", line 54, in <module>
AttributeError: 'SparkSession' object has no attribute '_wrapped'

    at org.apache.zeppelin.python.PythonInterpreter.bootstrapInterpreter(PythonInterpreter.java:579)
    at org.apache.zeppelin.spark.PySparkInterpreter.open(PySparkInterpreter.java:102)
    ... 9 more

飞艇版本：0.10.1

火花版本：3.3.0

测试了 ipython，齐柏林飞艇外的 pyspark，工作正常。

Answer 1

如果 PySpark 解释器的引导脚本有问题，Zeppelin 中的错误

java.io.IOException: Fail to run bootstrap script: python/zeppelin_pyspark.py

可能会发生。 bootstrap.py 脚本负责为 PySpark 解释器搭建 Python 环境，如果脚本有错误，解释器将无法启动。

这里有一些可以尝试的解决方案：

检查 PySpark 版本：确保您使用的是与 Zeppelin 兼容的 PySpark 版本。检查 Zeppelin 解释器设置中的 PySpark 版本，并确保它与您安装的 PySpark 版本匹配。

检查Python版本：确保您已经安装了兼容版本的Python。 PySpark 可能与某些 Python 版本存在兼容性问题，因此请务必检查您使用的版本是否受支持。

仅供参考

Zeppelin 0.10.1 版本于 2020 年 12 月发布，兼容以下版本的 PySpark 和 Python：

PySpark 2.4.7 和 3.0.1 Python 2.7、3.6 和 3.8