我想用一组关键词过滤行读取表单文本文件

问题描述 投票:0回答:1

我已经在下面的代码中编写了代码,但是它只适用于一个单词,但是当我给seq变量项时,我没有得到输出,有人可以告诉我如何解决这个问题。

val term = List("Achieving","Making")

val sc = new SparkContext("local[*]","Filter_lines")

val Lines = sc.textFile("../book.txt")

val filter_Lines = Lines.filter(l => l.contains("Making")).collect()

filter_Lines.foreach(println)
scala apache-spark
1个回答
0
投票

尝试一下-

Lines.filter(l => term.exists(t => l.contains(t))).foreach(println)

集合上的exists函数接受一个函数,如果“ l”包含任何“ t”项,则该函数返回true。

© www.soinside.com 2019 - 2024. All rights reserved.