如何将Pandas中的列式列表转换为numpy矩阵：将列表扩展为列？

Question

背景：

我试图解决的实际问题是从SparseVectors的Spark Dataframe转到numpy数组。因此，在步骤1中，我决定在所需的列上调用UDF。

spark.udf.register("sparseToArray", lambda x: x.toArray().tolist(), ArrayType(elementType=FloatType(), containsNull=False))

并称之为：

dense_input = input_df.selectExpr("sparseToArray(features) as features")

所以现在我可以调用thePandas（），但我最终会得到一个“列表”对象列，这让我想到了这篇文章的主题。

dense_input.toPandas()
# see below for how this shows up

转型问题：

我有一个列号列表，我想在numpy中创建列。我需要帮助。

熊猫：

shape(3,1)
size = 3
Values: ndarray of lists

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3 entries, 0 to 2
Data columns (total 1 columns):
features    3 non-null object
dtypes: object(1)
memory usage: 104.0+ bytes

Sample:

'features'
 0 list([1,2,3,4])
 1 list([5,6,7,8])
 2 list([9,10,11,12])

我想成为ndarray：

shape: [4,3]

[
 [1,2,3,4],
 [5,6,7,8],
 [9,10,11,12]
]

Answer 1

如评论中所述，你可以使用

my_array = np.array(df.features.values.tolist())

my_array
Out[56]: 
array([[ 1,  2,  3,  4],
       [ 5,  6,  7,  8],
       [ 9, 10, 11, 12]])
type(my_array)
Out[57]: numpy.ndarray

建议不要在数据框中存储对象，这可能会导致意外行为

Answer 2

编辑：这应该是你想要的。

import pandas as pd
import numpy as np
data = pd.DataFrame()
data['Feature'] = [[1,2,3,4],[5,6,7,8],[9,10,11,12]]

def iterator(dataframe_column):
    for i in dataframe_column:
        yield i
matrix = []
for row in iterator(data['Feature']):
    matrix.append(row)

result = np.array(matrix)
>>> print(result.shape)
(3, 4)

>>> result
array([[ 1,  2,  3,  4],
       [ 5,  6,  7,  8],
       [ 9, 10, 11, 12]])

>>> type(result)
<type 'numpy.ndarray'>

如果问题仍然存在，则需要提供代码。我不能重现数据帧中的列表对象，除了我的代码中的列表对象