scala.reflect.internal.MissingRequirementError：编译器镜像中找不到对象 java.lang.Object

Question

我正在尝试使用 sbt 包构建 Spark 流应用程序，我无法发现此错误的原因是什么。

这是错误的一些内容

scala.reflect.internal.MissingRequirementError：对象 编译器镜像中未找到 java.lang.Object。在 scala.reflect.internal.MissingRequirementError$.signal(MissingRequirementError.scala:16) 在 scala.reflect.internal.MissingRequirementError$.notFound(MissingRequirementError.scala:17) 在 scala.reflect.internal.Mirrors$RootsBase.getModuleOrClass(Mirrors.scala:48) 在 scala.reflect.internal.Mirrors$RootsBase.getModuleOrClass(Mirrors.scala:40) 在 scala.reflect.internal.Mirrors$RootsBase.getModuleOrClass(Mirrors.scala:40)

这是代码

import org.apache.spark.SparkContext
import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.twitter._
import twitter4j.Status
object TrendingHashTags {
def main(args: Array[String]): Unit = {
val Array(consumerKey, consumerSecret, accessToken, accessTokenSecret,
lang, batchInterval, minThreshold, showCount ) = args.take(8)
val filters = args.takeRight(args.length - 8)
System.setProperty("twitter4j.oauth.consumerKey", consumerKey)
System.setProperty("twitter4j.oauth.consumerSecret", consumerSecret)
System.setProperty("twitter4j.oauth.accessToken", accessToken)
System.setProperty("twitter4j.oauth.accessTokenSecret", accessTokenSecret)
val conf = new SparkConf().setAppName("TrendingHashTags")
val ssc = new StreamingContext(conf, Seconds(batchInterval.toInt))
val tweets = TwitterUtils.createStream(ssc, None, filters)
val tweetsFilteredByLang = tweets.filter{tweet => tweet.getLang() == lang}
val statuses = tweetsFilteredByLang.map{ tweet => tweet.getText()}
val words = statuses.flatMap{status => status.split("""\s+""")}
val hashTags = words.filter{word => word.startsWith("#")}
val hashTagPairs = hashTags.map{hashtag => (hashtag, 1)}
val tagsWithCounts = hashTagPairs.updateStateByKey(
(counts: Seq[Int], prevCount: Option[Int]) =>
prevCount.map{c => c + counts.sum}.orElse{Some(counts.sum)}
)
val topHashTags = tagsWithCounts.filter{ case(t, c) =>
c > minThreshold.toInt
}
val sortedTopHashTags = topHashTags.transform{ rdd =>
rdd.sortBy({case(w, c) => c}, false)
}
sortedTopHashTags.print(showCount.toInt)
ssc.start()
ssc.awaitTermination()
}
}

Answer 1

我解决了这个问题，我发现我使用的java 9与scala版本不兼容，所以我从java 9迁移到java 8。

Answer 2

该错误意味着scala是使用java版本编译的，与当前版本不同。

我使用

maven

而不是

sbt

，但观察到了相同的行为。

找到java版本：

> /usr/libexec/java_home -V
Matching Java Virtual Machines (2):
    15.0.1, x86_64:     "OpenJDK 15.0.1"        /Users/noname/Library/Java/JavaVirtualMachines/openjdk-15.0.1/Contents/Home
    1.8.0_271, x86_64:  "Java SE 8"     /Library/Java/JavaVirtualMachines/jdk1.8.0_271.jdk/Contents/Home

如果您安装了 scala，而您使用的是

>1.8

版本，然后降级了 java 版本（编辑 $JAVA_HOME 以指向

1.8

），您将收到此错误。

检查了项目正在使用的scala版本：

$ ls -l /Users/noname/.m2/repository/org/scala-lang/scala-library/2.11.11/scala-library-2.11.11.jar
-rwxrwxrwx  1 noname  staff  0 Nov 17 03:41 /Users/noname/.m2/repository/org/scala-lang/scala-library/2.11.11/scala-library-2.11.11.jar

要纠正该问题，请删除 scala jar 文件：

$ rm /Users/noname/.m2/repository/org/scala-lang/scala-library/2.11.11/scala-library-2.11.11.jar

现在，再次执行

mvn clean install

，项目就可以编译了。

Answer 3

当我不得不降级我的项目 Scala 版本以使用在较低 Scala 版本中编译的依赖项时，我遇到了这个问题，即使在我确保 JDK 和所有其他依赖项与降级的 Scala 库版本兼容之后也无法解决它.

正如@ForeverLearner上面提到的，删除高于我现在用来从maven repo编译项目的Scala库版本（/Users/<>/.m2/repository/org/scala-lang/scala-library/... ）帮助我摆脱了这个错误

Answer 4

上述修复也解决了我的问题（设置 Java 8），如果您使用 Intellij，您可以转到项目设置并在项目下将项目 SDK 更改为 1.8。

Answer 5

就我而言，除了将 Java 版本降级到 1.8 之外，我还必须删除 .m2 文件夹下导致问题的去依赖项。