Spark Scala - Split Map、Getkey 等

Question

我有一个包含以下内容的文本文件：

A>B,C,D
B>A,C,D,E
C>A,B,D,E
D>A,B,C,E
E>B,C,D

我想写一个Spark-Scala脚本来获取以下内容： （对于每个左边的成员，我们给所有右边的成员。）

(A,B)
(A,C)
(A,D)
(B,A)
(B,C)
(B,D)
(B,E)
...

我试图浏览地图并获取密钥以将我的结果提供给新地图，但它没有用。

这是我的代码（更像是伪代码）：

import scala.io.Source

// Loading file
val file = sc.textFile("friends.txt")

// MAP
// A;B
// A;C
// ...

var associations_persons_friends:Map[Char,Char] = Map()

var lines = file.map(line=>line.split(">"))

for (line <- lines)
{
    val person = line.key
    
    for (friend <- line.value.split(","))
    {
        associations_persons_friends += (person -> friend)
    }
}

associations_persons_friends.collect()

val rdd = sc.parallelize(associations_persons_friends)
rdd.foreach(println)


// GROUP
// For each possible pair, all associated values
// AB;B-C-D-A-C-D-E


// REDUCE
// For each pair we keep occurrences >= 2
// AB;C-D

我想知道是否可以在 Spark-Scala 中编写这样的基本代码，因为我在网上找不到任何满足我需求的答案。 感谢您的帮助。

Answer 1

你可以通过

map

和

flatMap

的组合来达到你的要求

val rdd = sc.textFile("path to the text file")

rdd.map(line => line.split(">")).flatMap(array => array(1).split(",").map(arr => (array(0), arr))).foreach(println)

你应该有输出为

(A,B)
(A,C)
(A,D)
(B,A)
(B,C)
(B,D)
(B,E)
(C,A)
(C,B)
(C,D)
(C,E)
(D,A)
(D,B)
(D,C)
(D,E)
(E,B)
(E,C)
(E,D)

希望回答对您有帮助