在 Google Dataproc 上使用苏打水部署 H2O MOJO 时面临问题

Question

我正在尝试将模型从 Hadoop 迁移到 GCP。 MOJO 模型不会被重新训练。我正在使用 Airflow Spark Submit 在 Dataproc 中运行模型。 源数据格式与 Hadoop 源等一切匹配。运行模型时，我收到此错误：

Caused by: hex.genmodel.easy.exception.PredictUnknownCategoricalLevelException: Unknown categorical level (my_column,Y)

此列的值与我们在 Hadoop 上的值相同，并且一切正常。 模型是在H20版本

3.30.0.4

创建的，MOJO版本是

1.4

。

运行 dataproc 集群时，我正在使用

"PIP_PACKAGES": "h2o_pysparkling_3.1"

不确定问题是什么？请帮忙。

Answer 1

您可以尝试启用

convertUnknownCategoricalLevelsToNa

吗？

相关文档如下： https://s3.amazonaws.com/h2o-release/sparkling-water/spark-3.1/3.42.0.2-1-3.1/doc/deployment/load_mojo.html#customizing-the-mojo-settings