标准化值，如 (0,1,2) 和 1

Question

我应该如何标准化四列进行聚类？两列包含 (0, 1, 2) 等值，而另外两列包含“1”等普通值。我尝试使用 StandardScaler，但遇到错误。我应该考虑哪些替代方案或调整？

Answer 1

处理包含不同类型数据（例如数值和分类值）的列时，标准化方法可能会有所不同。以下是处理不同类型数据的一些一般准则：

对于具有数值 (0, 1, 2) 的列：

1. 标准定标器：

   • StandardScaler 是包含 (0, 1, 2) 等值的数值列的不错选择。
   • 确保仅将 StandardScaler 应用于具有数值的列。
   • 这是一个使用 Python 和 scikit-learn 的示例：

   from sklearn.preprocessing import StandardScaler
   import pandas as pd
   
   # Assuming df is your DataFrame
   numerical_columns = ['numerical_col1', 'numerical_col2']
   scaler = StandardScaler()
   df[numerical_columns] = scaler.fit_transform(df[numerical_columns])
   

对于具有分类值 ('1') 的列：

1. 标签编码：

   • 使用标签编码将分类值转换为数字表示。
   • 这确保了分类值可以用于数值计算。
   • Scikit-learn 的

     LabelEncoder

     可以用于此目的。

   from sklearn.preprocessing import LabelEncoder
   
   # Assuming df is your DataFrame
   categorical_columns = ['cat_col1', 'cat_col2']
   label_encoder = LabelEncoder()
   df[categorical_columns] = df[categorical_columns].apply(label_encoder.fit_transform)
   

处理混合数据类型：

1. 单独标准化：

   • 使用上述适当的方法分别对数字列和分类列进行标准化。
   • 然后，您可以将标准化列连接回单个 DataFrame。

   # Assuming df is your DataFrame
   numerical_columns = ['numerical_col1', 'numerical_col2']
   categorical_columns = ['cat_col1', 'cat_col2']
   
   # Normalize numerical columns
   scaler = StandardScaler()
   df[numerical_columns] = scaler.fit_transform(df[numerical_columns])
   
   # Normalize categorical columns
   label_encoder = LabelEncoder()
   df[categorical_columns] = df[categorical_columns].apply(label_encoder.fit_transform)
   

2. 自定义标准化：

   • 如果标准方法不合适，您可能需要为您的特定数据类型实现自定义规范化。
   • 例如，您可以应用自定义函数来处理具有 (0, 1, 2) 的列的标准化，并应用另一个函数来处理分类列。

   def custom_numerical_normalization(data):
       # Custom normalization logic for numerical data
       # ...
   
   def custom_categorical_normalization(data):
       # Custom normalization logic for categorical data
       # ...
   
   # Apply custom normalization functions
   df['numerical_col'] = custom_numerical_normalization(df['numerical_col'])
   df['categorical_col'] = custom_categorical_normalization(df['categorical_col'])
   

选择最适合您的数据特征和聚类算法要求的方法。始终确保所选的标准化方法与每列中数据的性质一致。