DBSCAN及其索引应具有相同的距离函数

问题描述 投票:0回答:1

是否要求DBSCAN及其索引具有相同的距离函数?如果不是,在什么情况下需要使用不同的距离函数?

Scala代码如何创建DBSCAN和索引:

import de.lmu.ifi.dbs.elki.algorithm.clustering.DBSCAN
import de.lmu.ifi.dbs.elki.algorithm.clustering.gdbscan.parallel.ParallelGeneralizedDBSCAN
import de.lmu.ifi.dbs.elki.data.model.Model
import de.lmu.ifi.dbs.elki.data.{Clustering, DoubleVector, NumberVector}
import de.lmu.ifi.dbs.elki.database.{Database, StaticArrayDatabase}
import de.lmu.ifi.dbs.elki.datasource.ArrayAdapterDatabaseConnection
import de.lmu.ifi.dbs.elki.distance.distancefunction.NumberVectorDistanceFunction
import de.lmu.ifi.dbs.elki.distance.distancefunction.minkowski.SquaredEuclideanDistanceFunction
import de.lmu.ifi.dbs.elki.index.tree.metrical.covertree.SimplifiedCoverTree

def createDatabase(data: Array[Array[Double]], distanceFunction: NumberVectorDistanceFunction[NumberVector]): Database = {
  val indexFactory = new SimplifiedCoverTree.Factory[NumberVector](distanceFunction, 1.3, 20)
  // Create a database
  val db = new StaticArrayDatabase(new ArrayAdapterDatabaseConnection(data), java.util.Arrays.asList(indexFactory))
  // Load the data into the database
  db.initialize()
  db
}

def dbscanClustering(data: Array[Array[Double]], distanceFunction: NumberVectorDistanceFunction[NumberVector]): Unit = {
  // Use the same `distanceFunction` for the database and DBSCAN <- is it required??
  val db = createDatabase(data, distanceFunction)
  val dbscan = new DBSCAN[DoubleVector](distanceFunction, 0.01, 20)
  val result: Clustering[Model] = dbscan.run(db)
  println(s"Number of clusters: ${result.getAllClusters.size()}")
  result.getAllClusters.asScala.zipWithIndex.foreach { case (cluster, idx) =>
    println(s"# $idx: ${cluster.getNameAutomatic}")
    println(s"Size: ${cluster.size()}")
    println(s"Model: ${cluster.getModel}")
}
val inputData: Array[Array[Double]] = ???
dbscanClustering(inputData, SquaredEuclideanDistanceFunction)
java scala data-mining dbscan elki
1个回答
1
投票

索引只有使用same距离函数时才可以用于acceleration。一些索引可以支持多个(但不是任意)距离,例如R * -tree可以支持所有空间距离函数(尽管获得了不同程度的成功)。

显然,如果您建立索引以加速余弦距离,但是您要求欧几里得最近的邻居,则该索引将不能并且将不会被使用。

您不需要使用索引,但是如果没有运行时,它将为O(n²);使用索引可以更快(取决于参数,维数等。在最坏的情况下,索引是开销)。

© www.soinside.com 2019 - 2024. All rights reserved.