执行分层群集时出现内存错误

Question

我有一个大型数据集（207989,23），我正在尝试立即在一列上应用Hierarchical clustering来测试它是否适合我手头的任务。

我尝试过的：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import preprocessing

data = pd.read_csv('gpmd.csv', header = 0)

X = data.loc[:, ['ContextID', 'BacksGas_Flow_sccm']]

min_max_scaler = preprocessing.MinMaxScaler()
X_minmax = min_max_scaler.fit_transform(X.values[:,[1]])

import scipy.cluster.hierarchy as sch
dendrogram = sch.dendrogram(sch.linkage(X_minmax, method = 'ward'))

执行此操作后，我收到以下错误：

dendrogram = sch.dendrogram(sch.linkage(X_minmax, method = 'ward'))
Traceback (most recent call last):

  File "<ipython-input-4-429f42b68112>", line 1, in <module>
    dendrogram = sch.dendrogram(sch.linkage(X_minmax, method = 'ward'))

  File "C:\Users\kashy\Anaconda3\envs\py36\lib\site-packages\scipy\cluster\hierarchy.py", line 708, in linkage
    y = distance.pdist(y, metric)

  File "C:\Users\kashy\Anaconda3\envs\py36\lib\site-packages\scipy\spatial\distance.py", line 1877, in pdist
    dm = np.empty((m * (m - 1)) // 2, dtype=np.double)

MemoryError

有人能解释一下究竟是什么问题吗？

提前致谢

Answer 1

大多数变体中的分层聚类需要O（n²）存储器。

因此，大多数实现将在大约65535个实例处失败，当它们达到32位标记时（有些可能在32k时失败）。但是只做数学：n * n * 8字节用于双精度：你需要多少内存？