如何将VectorAssembler输出中的特征映射回Spark ML中的列名？

Question

我正在尝试在PySpark中运行线性回归，我想创建一个包含汇总统计信息的表，例如我的数据集中每列的系数，P值和t值。但是，为了训练线性回归模型，我必须使用Spark的VectorAssembler创建一个特征向量，现在每行我都有一个特征向量和目标列。当我尝试访问Spark的内置回归摘要统计信息时，它们会为每个统计信息提供一个非常原始的数字列表，并且无法知道哪个属性对应于哪个值，这很难通过手动计算出来大量的列。如何将这些值映射回列名？

例如，我的当前输出是这样的：

系数：[ - 187.807832407，-187.058926726,85.1716641376,10595.3352802，-127.258892837，-39.2827730493，-1206.47228704,33.7078197705,99.9956812528]

P值：[0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.18589731365614548,0.275173571416679,0.0]

t统计量：[ - 23.348593508995318，-44.72813283953004,19.836508234714472,144.49248881747755，-16.547272230754242，-9.560681351483941，-19.563547400189073,1.3232383890822680,1.0912415361190977,20.383256127350474]

系数标准误差：[8.043646497811427,4.182131353367049,4.293682291754585,73.32793120907755,7.690626652102948,4.108783841348964,61.669402913526625,25.481445101737247,91.63478289909655,609.7007361468519]

除非我知道它们对应哪个属性，否则这些数字毫无意义。但在我的DataFrame中，我只有一个名为“features”的列，其中包含稀疏向量行。

当我有一个热编码特征时，这是一个更大的问题，因为如果我有一个长度为n的编码变量，我会得到n个相应的系数/ p值/ t值等。

Answer 1

截至今天，Spark没有提供任何可以为您完成此任务的方法，因此如果您必须创建自己的方法。假设您的数据如下所示：

import random
random.seed(1)

df = sc.parallelize([(
    random.choice([0.0, 1.0]), 
    random.choice(["a", "b", "c"]),
    random.choice(["foo", "bar"]),
    random.randint(0, 100),
    random.random(),
) for _ in range(100)]).toDF(["label", "x1", "x2", "x3", "x4"])

并使用以下管道进行处理：

from pyspark.ml.feature import StringIndexer, OneHotEncoder, VectorAssembler
from pyspark.ml import Pipeline
from pyspark.ml.regression import LinearRegression

indexers = [
  StringIndexer(inputCol=c, outputCol="{}_idx".format(c)) for c in ["x1", "x2"]]
encoders = [
    OneHotEncoder(
        inputCol=idx.getOutputCol(),
        outputCol="{0}_enc".format(idx.getOutputCol())) for idx in indexers]
assembler = VectorAssembler(
    inputCols=[enc.getOutputCol() for enc in encoders] + ["x3", "x4"],
    outputCol="features")

pipeline = Pipeline(
    stages=indexers + encoders + [assembler, LinearRegression()])
model = pipeline.fit(df)

获取LinearRegressionModel：

lrm = model.stages[-1]

转换数据：

transformed =  model.transform(df)

提取并展平ML属性：

from itertools import chain

attrs = sorted(
    (attr["idx"], attr["name"]) for attr in (chain(*transformed
        .schema[lrm.summary.featuresCol]
        .metadata["ml_attr"]["attrs"].values())))

并映射到输出：

[(name, lrm.summary.pValues[idx]) for idx, name in attrs]

[('x1_idx_enc_a', 0.26400012641279824),
 ('x1_idx_enc_c', 0.06320192217171572),
 ('x2_idx_enc_foo', 0.40447778902400433),
 ('x3', 0.1081883594783335),
 ('x4', 0.4545851609776568)]

[(name, lrm.coefficients[idx]) for idx, name in attrs]

[('x1_idx_enc_a', 0.13874401585637453),
 ('x1_idx_enc_c', 0.23498565469334595),
 ('x2_idx_enc_foo', -0.083558932128022873),
 ('x3', 0.0030186112903237442),
 ('x4', -0.12951394186593695)]

Answer 2

您可以在此处查看列的实际顺序

df.schema["features"].metadata["ml_attr"]["attrs"]

通常会有两个类，[“二进制]和[”数字“]

pd.DataFrame(df.schema["features"].metadata["ml_attr"]["attrs"]["binary"]+df.schema["features"].metadata["ml_attr"]["attrs"]["numeric"]).sort_values("idx")

应该给出所有列的确切顺序

Answer 3

这是一行答案：

[x["name"] for x in sorted(train_downsampled.schema["all_features"].metadata["ml_attr"]["attrs"]["binary"]+
   train_downsampled.schema["all_features"].metadata["ml_attr"]["attrs"]["numeric"], 
   key=lambda x: x["idx"])]

感谢@pratiklodha的核心。