如何在zeppelin中用网络可视化图形？

Question

我想在zeppelin中用%network来可视化我的图。我已经通过读取JSON文件定义了节点和边。

val nodes = spark.read.option("multiline","true").json("/opt/nodes.json")
val edges = spark.read.option("multiLine","true").json("/opt/edges.json")
val graph = GraphFrame(nods,edges)

我已经读取了 文件 但这对文件不好，我不知道怎样才能把它可视化。

Answer 1

下面的代码，虽然不是很通用，但从理论上讲，可以将GraphFrame对象的数据可视化（不要在巨图上使用它）。但是，虽然它生成了正确的数据，并且在UI中可见，但在可视化过程中出现了一个JavaScript错误（我已经尝试了0.9.0-preview1）--我创建了 ZEPPELIN-4793 来处理它。

import org.graphframes._
import org.apache.spark.sql.functions._

  def graphframeToNetworkText(g: GraphFrame, vertexLabel: String, edgeLabel: String): String = {
    val v = g.vertices
    val vDataFields = v.schema.fields.map{_.name}.filterNot(_ == "id").map(col(_))
    val vJson = v.select(col("id"), lit(vertexLabel).as("label"),
      struct(vDataFields: _*).as("data"))
      .toJSON.collect.mkString("[",", ","]")
    val e = g.edges
    val eDataFields = e.schema.fields.map{_.name}
      .filterNot(x => x == "src" || x == "dst").map(col(_))
    val timeUUID = udf(() => java.util.UUID.randomUUID().toString)
    val eJson = e.select(col("src").as("source"),
      col("dst").as("target"),
      lit(edgeLabel).as("label"),
      struct(eDataFields: _*).as("data"))
      .withColumn("id", timeUUID())
      .toJSON.collect.mkString("[",", ","]")

    val sb = new StringBuilder
    sb.append("%network {")
      .append("\n\"nodes\": ")
      .append(vJson)
      .append(",\n\"edges\": ")
      .append(eJson)
      .append(",\n\"directed\": false,\n\"types\":[\"")
      .append(edgeLabel)
      .append("\"],\n\"labels\":{\"")
      .append(vertexLabel)
      .append("\": \"#3071A9\"}\n}")

    sb.toString()
  }

可以调用如下。

val g: GraphFrame = examples.Graphs.friends
print(graphframeToNetworkText(g, "person", "rel"))