如何将群集标签列添加回原始dataframe-python中，以进行监督学习

Question

我的数据框中有一列包含Url信息。它有1200多个独特的价值观。我想使用文本挖掘从这些值生成功能。我使用tfidfvectorizer生成向量，然后使用kmeans来识别集群。我现在想要将这些群集标签分配回原始数据帧，以便我可以将URL信息分成这些群集。

下面的代码生成向量和集群标签

from scipy.spatial.distance import cdist


vectorizer = TfidfVectorizer(min_df = 1,lowercase = False, ngram_range = (1,1), use_idf = True, stop_words='english')
X = vectorizer.fit_transform(sample\['lead_lead_source_modified'\])
X = X.toarray()
distortions=\[\]
K = range(1,10)
for k in K:
    kmeanModel = KMeans(n_clusters=k).fit(X)
    kmeanModel.fit(X)
    distortions.append(sum(np.min(cdist(X, kmeanModel.cluster_centers_, 'euclidean'), axis=1)) / X.shape\[0\])

#append cluster labels

km = KMeans(n_clusters=4, random_state=0)
km.fit_transform(X)
cluster_labels = km.labels_
cluster_labels = pd.DataFrame(cluster_labels, columns=\['ClusterLabel_lead_lead_source'\])
cluster_labels

通过肘法，我决定了4个星团。我现在有群集标签，但我不知道如何将它们添加到各自索引的数据帧中。由于索引问题，沿轴= 1连接正在创建Nans。下面是连接后的示例输出。

    lead_lead_source_modified   ClusterLabel_lead_lead_source
0   NaN                          3.0
1   NaN                          0.0
2   NaN                          0.0
3   ['direct', 'salesline', 'website', '']  0.0

我想知道这种方法是否正确，如果是，那么如何解决这个问题。如果没有，是否有更好的方法。

Answer 1

在数据帧转换期间添加索引值解决了这个问题。

但它仍然想知道这是否是正确的方法