没有看到的输出火花提交

Question

我运行一些例子来使用qazxsw POI qazxsw POI。我使用qazxsw POI虚拟机。我试图运行的类是下面的

Spark

要运行上面的代码，我使用的是spark-submit脚本如下：

Ubuntu

该出我看到的是如下（为大跟踪转储道歉），但我没有看到打印

object SparkPi {
  def main(args: Array[String]) {
    val spark = SparkSession
      .builder
      .appName("Spark Pi")
      .getOrCreate()
    val slices = if (args.length > 0) args(0).toInt else 2
    val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
    val count = spark.sparkContext.parallelize(1 until n, slices).map { i =>
      val x = random * 2 - 1
      val y = random * 2 - 1
      if (x*x + y*y <= 1) 1 else 0
    }.reduce(_ + _)
    println(s"Pi is roughly ${4.0 * count / (n - 1)}")
    spark.stop()
  }
}

。我没有看到任何错误，无论是。为什么我没有看到输出

spark-submit

Answer 1

相反，在控制台上进行打印，尽量保存导致文件。因为执行过程中标准输出，这将是很难找出结果，但我可以看到导致你的输出。

Answer 2

在我看来，由@ruslangm所说的那样，期望输出实际上是有：

manu@manu-VirtualBox:~/spark-2.4.0-bin-hadoop2.7$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local ./examples/jars/spark-examples_2.11-2.4.0.jar 10

也许我们没有得到这个问题。