rfModel.toDebugString出错

问题描述 投票:1回答:1

我正在使用带有Spark 2.2和Python 2.7.11的pyspark,我试图使用.toDebugString方法从随机森林分类器的决策树中提取规则。

我成功了但是自从2.1到2.2的更新后,Spark在我使用此命令后崩溃并且我收到此错误:

完整错误:

rfModel.toDebugString

---------------------------------------- u'RandomForestClassificationModel(uid = RandomForestClassifier_4e99b85432585e2e32a2)with 30 trees \ n Tr'在处理来自('127.0.0.1',42374)的请求时发生异常Traceback(最近一次调用last):文件“/usr/local/lib/python2.7/SocketServer.py”,第295行, in _handle_request_noblock self.process_request(request,client_address)file“/usr/local/lib/python2.7/SocketServer.py”,第321行,在process_request中self.finish_request(request,client_address)文件“/ usr / local / lib / python2.7 / SocketServer.py“,第334行,在finish_request self.RequestHandlerClass(request,client_address,self)文件”/usr/local/lib/python2.7/SocketServer.py“,第655行,在init self.handle中()文件“/opt/cloudera/parcels/SPARK2/lib/spark2/python/pyspark/accumulators.py”,第235行,句柄中num_updates = read_int(self.rfile)文件“/ opt / cloudera / parcels / SPARK2 / lib / spark2 / python / pyspark / serializers.py“,第577行,在read_int中-------------------------------- -------- rai se EOFError EOFError

如果我在此错误后再次运行该命令,我得到:

Py4JError:调用o1129.toString时发生错误

我的代码相当简单,这让我非常困惑。

#Get random forest from pipeline 
rfModel = model.stages[1]

rfModel.toDebugString

我知道rfModel是一个randomForestClassifier对象。有什么想法我得到这个错误?

python-2.7 apache-spark pyspark spark-dataframe
1个回答
0
投票

我的问题的解决方案是python版本。通过使用python3 +与spark 2.2我设法工作.toDebugString方法没有问题。我会更新完整的错误日志,以便将来看到这个。

© www.soinside.com 2019 - 2024. All rights reserved.