我想用HDBSCAN *集群一些数据。
距离是根据两个值计算的一些参数的函数,因此,如果数据看起来像:
label1 | label2 | label3
0 32 18.5 3
1 34.5 11 12
2 .. .. ..
3 .. .. ..
两个样本之间的距离将类似于:
def calc_dist(i,j)
return 0.5 * dist_label1_func(data.iloc[i]['label1],data.iloc[j]['label1] +
0.4 * dist_label2_func(data.iloc[i]['label2],data.iloc[j]['label2] +
0.1 * dist_label3_func(data.iloc[i]['label3],data.iloc[j]['label3]
由于数据的大小,我无法计算距离矩阵,因此似乎callable是我唯一的选择。
我的代码如下:
clusterer = hdbscan.HDBSCAN(metric=calc_dist).fit(i=i,j=j)
错误:fit() got an unexpected keyword argument 'i
clusterer = hdbscan.HDBSCAN(metric=calc_dist).fit(i,j)
错误:
ValueError: Expected 2D array, got scalar array instead:array=4830.
Reshape your data either using array.reshape(-1, 1) if your data has a single feature
or array.reshape(1, -1) if it contains a single sample.
并且它不起作用,我还尝试将适合内部的参数更改为原始数据集名称:
clusterer = hdbscan.HDBSCAN(metric=calc_dist).fit(data)
错误:raise ValueError("Found array with dim %d. %s expected <= 2.")
ValueError: setting an array element with a sequence.
但它也不能接受。
我想念什么?
通常,回调将获得向量,而不是行索引。
所以也许您可以使用:
def calc_dist(i,j):
return 0.5 * dist_label1_func(i['label1],j['label1]) +
0.4 * dist_label2_func(i['label2],j['label2]) +
0.1 * dist_label3_func(i['label3],j['label3])
clusterer = hdbscan.HDBSCAN(metric=calc_dist).fit(data.iloc)
或者如果类型妨碍您,您可以使用原始距离的索引数组:
def calc_dist(i,j):
i, j = int(i[0]), int(j[0])
return 0.5 * dist_label1_func(data.iloc[i]['label1],data.iloc[j]['label1]) +
0.4 * dist_label2_func(data.iloc[i]['label2],data.iloc[j]['label2]) +
0.1 * dist_label3_func(data.iloc[i]['label3],data.iloc[j]['label3])
range = np.arange(0, len(data), dtype=np.int8).reshape(-1, 1)
clusterer = hdbscan.HDBSCAN(metric=calc_dist).fit(range)
请注意sklearn和具有自定义指标的类似python库的性能可能很差。 Numba可能会或可能不会帮助改善性能;对于足够小的数据,通常建议计算成对矩阵并使用metric="precomputed"
,因为编写高效代码来预先计算矩阵(并使用现有的高效代码来处理预先计算的矩阵)通常要容易得多,而不是得到库代码内部高效的自定义指标。这是因为python被解释了。因此,每一次距离计算都需要经过解释器。具有强大的JIT编译器的Java之类的语言通常在优化此类情况方面更好。