spark-graphx 相关问题

GraphX是Apache Spark中用于图形和图形并行计算的组件

如何使用图拓扑添加新的PartitionStrategy?

我想使用图拓扑信息添加一个新的PartitionStrategy。不过,我发现PartitionStrategy仅具有以下功能。我找不到任何可以接收图形的函数...

回答 1 投票 1

如何从顶点输入文件创建VertexRDD?

我有一个这样的顶点输入文件(1L,(0.5,0.5))(2L,(0.25,0.0625))(3L,(0.125,0.125))(4L,(0.0625,0.0625))(5L,( 0.0625,0.25)),我将其转换为RDD [(Long,Array [Double])]。我知道...

回答 1 投票 0

圆搜索算法

我正在尝试创建一个能够使用graphx和scala在图中找到圆的算法。我正在考虑的是将所有vertexID加载到数组中,创建一个循环,该循环创建一个...

回答 1 投票 0

Spark中使用Windows功能每周汇总

我从2017年1月1日开始2017年1月7日的数据,这是一个星期要每周汇总。我在下面的方式VAL df_v_3 = df_v_2.groupBy(窗口(COL( “日期时间”),“7中使用的窗函数...

回答 2 投票 1

抽象方法错误在GraphLoader对象

我已经创造了Graphx一个简单的项目,只要我试图运行这个测试项目中,我得到AbstractMethodError,误差这种方法edgeListFile正在添加里面,看起来像是......

回答 1 投票 0

如何RDD [(字符串,可迭代[VertexId])转换成数据帧?

我已经创建从Graphx的RDD看起来像这样:VAL图表= GraphLoader.edgeListFile(spark.sparkContext,文件名)变种S:VertexRDD [VertexId] = graph.connectedComponents()顶点VAL ...

回答 1 投票 2

星火graphX从数据帧使边/顶点RDD

我有2个大dataframes,边和顶点,我知道他们需要在特殊类型的顶点和边RDDS,但每次我发现教程指定的边缘和Vertex RDDS为阵列...

回答 1 投票 0

如何使用spark将大表中两个用户的相互(倒数)时间相加

我在spark中有一个像下面这样的大表:(a,b,1)(a,c,2)(b,a,3)(b,c,4)(c,a,5)每行代表(user1 ,user2,次)我想在这里做的是总结每个用户对的倒数时间。那......

回答 1 投票 0

使用sbt-spark-package插件了解build.sbt

我是新的scala和SBT构建文件。从介绍性教程中添加spark依赖项到scala项目应该是直截了当的sbt-spark-package插件,但我得到了......

回答 1 投票 0

在Graphframes中实现自定义算法

我想使用运行pyspark 2.3的GraphFrames在图表上运行双连接图算法。我确定所有内置算法都在Scala中运行GraphX。是......

回答 1 投票 -4

如何从数据框构建图表? (GraphX)

我是scala和spark的新手,我需要从数据框构建一个图形。这是我的数据帧的结构,其中S和O是节点,列P表示边。 + --------------------------- + ------...

回答 1 投票 -1

如何从文件中读取数据(GraphX)?

我是Scala的新手,我正试图从文本文件中将无向图读作图形(GraphX)。文本文件的格式为:1,8,9,10 2,5,6,7,3,1表示节点1连接到节点...

回答 1 投票 0

从LinkedBasher的LinkedHashMap和ListBuffer中删除元素,将其用作顶点属性到图形结构中

我使用GraphX API在Scala中构建了一个图形。在我的图中,每个顶点都有一个LinkedHashMap [Int,ListBuffer [ListBuffer [Int]]]作为属性:LinkedHashMap的每对(key,value)...

回答 1 投票 1

Scala:GraphX:error:class Array接受类型参数

我正在尝试为GraphX构建Edge RDD。我正在读取一个csv文件并转换为DataFrame然后尝试转换为Edge RDD:val staticDataFrame = spark。读。选项(“标题”,true)。 ...

回答 1 投票 0

循环RDD以使用Scala在Spark中创建图形

尝试循环使用RDD并使用每条记录上的数据创建Graphs。代码是这样的:bigjoin具有结构RDD [(String,List [(Long,Long)])] bigjoin.foreach(a => {...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.