value toDS不是org.apache.spark.rdd.RDD [String]]的成员>

Question

我正在尝试实现以下scala代码，但我得到的错误值是DS并非org.apache.spark.rdd.RDD [String]的成员

我已经在线查看了解决方案，但找不到答案我的代码是

import spark.implicits._

    val lines = messages.map(_._2)
    lines.foreachRDD(
        rdd =>{
          val line = rdd.toDS
          println("Old Schema")
          line.show() /* */
依赖项

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.4.4</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.1.1</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.1.1</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.11</artifactId>
    <version>1.6.1</version>
    <scope>provided</scope>
</dependency>
<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.0.0-cloudera1-SNAPSHOT</version>
    </dependency>
<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.10</artifactId>
        <version>1.6.2</version>
    </dependency>
  </dependencies>

我正在尝试实现以下scala代码，但我得到的错误值是DS并非org.apache.spark.rdd.RDD [String]的成员，我已经在线查看了解决方案，但无法弄清楚...

Answer 1

不确定您在做什么，但是不需要这样做。无需foreachRDD。您需要了解驱动程序与执行程序模式，在何处以及为什么会发生什么。