将spark DataFrame列转换为python列表

Question

我处理一个包含两列mvv和count的数据帧。

+---+-----+
|mvv|count|
+---+-----+
| 1 |  5  |
| 2 |  9  |
| 3 |  3  |
| 4 |  1  |

我想获得两个包含mvv值和计数值的列表。就像是

mvv = [1,2,3,4]
count = [5,9,3,1]

所以，我尝试了以下代码：第一行应该返回一个python列表行。我想看到第一个值：

mvv_list = mvv_count_df.select('mvv').collect()
firstvalue = mvv_list[0].getInt(0)

但是我收到第二行的错误消息：

AttributeError：getInt

Answer 1

看，为什么你这样做不起作用。首先，你试图从Row类型中获取整数，你的collect的输出是这样的：

>>> mvv_list = mvv_count_df.select('mvv').collect()
>>> mvv_list[0]
Out: Row(mvv=1)

如果你采取这样的事情：

>>> firstvalue = mvv_list[0].mvv
Out: 1

您将获得mvv值。如果你想要数组的所有信息，你可以采取这样的方式：

>>> mvv_array = [int(row.mvv) for row in mvv_list.collect()]
>>> mvv_array
Out: [1,2,3,4]

但是，如果您对其他列尝试相同的操作，则会得到：

>>> mvv_count = [int(row.count) for row in mvv_list.collect()]
Out: TypeError: int() argument must be a string or a number, not 'builtin_function_or_method'

这是因为count是一种内置方法。该列与count同名。执行此操作的解决方法是将count的列名更改为_count：

>>> mvv_list = mvv_list.selectExpr("mvv as mvv", "count as _count")
>>> mvv_count = [int(row._count) for row in mvv_list.collect()]

但是不需要此解决方法，因为您可以使用字典语法访问该列：

>>> mvv_array = [int(row['mvv']) for row in mvv_list.collect()]
>>> mvv_count = [int(row['count']) for row in mvv_list.collect()]

它终将奏效！

Answer 2

在一个班轮后面给出你想要的清单。

mvv = mvv_count_df.select("mvv").rdd.flatMap(lambda x: x).collect()

Answer 3

这将为您提供列表中的所有元素。

mvv_list = list(
    mvv_count_df.select('mvv').toPandas()['mvv']
)

Answer 4

以下代码将为您提供帮助

mvv_count_df.select('mvv').rdd.map(lambda row : row[0]).collect()

Answer 5

根据我的数据，我得到了这些基准：

>>> data.select(col).rdd.flatMap(lambda x: x).collect()

0.52秒

>>> [row[col] for row in data.collect()]

0.271秒

>>> list(data.select(col).toPandas()[col])

0.427秒

结果是一样的

Answer 6

如果您收到以下错误：

AttributeError：'list'对象没有属性'collect'

此代码将解决您的问题：

mvv_list = mvv_count_df.select('mvv').collect()

mvv_array = [int(i.mvv) for i in mvv_list]