直接在Keras中使用Spark DataFrame（数据块）

Question

我有一些文本希望与keras进行分类。我创建了一个接收文本并对其进行一些转换并最终对其进行热编码的管道。

现在，我想将OneHotEncoded列与label列一起直接传递到数据块中的keras中，但是我似乎无法做到这一点。我看到的所有示例似乎都以pandas数据框开头，然后转换为numpy数组。但是，将我的pyspark数据框转换为它似乎会适得其反。

model.fit(trainingData.select('featuresFirst'), trainingData.select('label'))

给我：

AttributeError: 'DataFrame' object has no attribute 'values'


model.fit(trainingData.select('featuresFirst').collect(), trainingData.select('label').collect())

给我：

AttributeError: ndim

我在这里想念什么？

Answer 1

您可能要考虑使用巨灾https://docs.databricks.com/applications/deep-learning/data-prep/petastorm.html