{Py4JJavaError}调用 o339.save 时发生错误

问题描述 投票:0回答:1

我在pyspark中训练了Logistic回归模型,但无法保存模型。

Model = LogisticRegression(featuresCol='TF-IDF', labelCol='labels', maxIter=10)`
lr_model = Model.fit(train_data)`
type(lrmodel) /*<class pyspark.ml.classification.LogisticRegressionModel'>
lr_model.write().overwrite().save("MODEL_LR")

我面临的错误是

{Py4JJavaError}调用 o384.save 时发生错误。 ExitCodeException exitCode=-1073741515:位于 org.apache.hadoop.util.Shell.runCommand(Shell.java:1007) 在 org.apache.hadoop.util.Shell.run(Shell.java:900) 在 org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1212) 在 org.apache.hadoop.util.Shell.execCommand(Shell.java:1306) 处 org.apache.hadoop.util.Shell.execCommand(Shell.java:1306) 在 org.apache.hadoop.util.Shell.execCommand(Shell.java:1288) 在 org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:978) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:660) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:700) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:672) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:672) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:699) 在

org.apache.hadoop.fs.RawLocalFileSystem....

我也尝试过 lr_model.save("MODEL_LR") 但抛出同样的错误。

python-3.x machine-learning pyspark apache-spark-ml
1个回答
0
投票

问题已通过以下步骤解决:

  1. 从此安装 microsoft Visual C++ 2010 https://www.microsoft.com/en-au/download/details.aspx?id=26999
  2. 设置环境变量,pyspark 环境设置完成后。
  3. 使用IDE时, 使用
    import findspark findspark.init() 
© www.soinside.com 2019 - 2024. All rights reserved.