运行 sbt 包时出错：对象 apache 不是包 org 的成员

Question

当我在下面的代码中尝试 sbt 包时，出现以下错误

1. object apache 不是包 org 的成员

2. 未找到：值 SparkSession

   我的 Spark 版本：2.4.4
   我的 Scala 版本：2.11.12

我的build.sbt

name := "simpleApp"

version := "1.0"

scalaVersion := "2.11.12"

//libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.4"


  libraryDependencies ++= {
   val sparkVersion = "2.4.4"
       Seq( "org.apache.spark" %% "spark-core" % sparkVersion)
  }
 

我的 Scala 项目

import org.apache.spark.sql.SparkSession
object demoapp {
  def main(args: Array[String]) {

val logfile = "C:/TEST/demo/hello.txt"
val spark = SparkSession.builder.appName("Simple App in Scala").getOrCreate()
val logData = spark.read.textFile(logfile).cache()
val numAs = logData.filter(line => line.contains("Washington")).count()
println(s"Lines are: $numAs")
spark.stop()
}
}

Answer 1

如果要使用Spark SQL，还需要在依赖中加入spark-sql模块：

// https://mvnrepository.com/artifact/org.apache.spark/spark-sql
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.4"

另外，请注意，在更改构建定义并将更改导入 intelliJ 后，您必须在 SBT 中重新加载项目。