我在pyspark中训练了Logistic回归模型,但无法保存模型。
Model = LogisticRegression(featuresCol='TF-IDF', labelCol='labels', maxIter=10)`
lr_model = Model.fit(train_data)`
type(lrmodel) /*<class pyspark.ml.classification.LogisticRegressionModel'>
lr_model.write().overwrite().save("MODEL_LR")
我面临的错误是
{Py4JJavaError}调用 o384.save 时发生错误。 ExitCodeException exitCode=-1073741515:位于 org.apache.hadoop.util.Shell.runCommand(Shell.java:1007) 在 org.apache.hadoop.util.Shell.run(Shell.java:900) 在 org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1212) 在 org.apache.hadoop.util.Shell.execCommand(Shell.java:1306) 处 org.apache.hadoop.util.Shell.execCommand(Shell.java:1306) 在 org.apache.hadoop.util.Shell.execCommand(Shell.java:1288) 在 org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:978) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:660) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:700) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:672) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:672) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:699) 在
org.apache.hadoop.fs.RawLocalFileSystem....
我也尝试过 lr_model.save("MODEL_LR") 但抛出同样的错误。
问题已通过以下步骤解决:
import findspark findspark.init()