如何查看Spark版本

Question

如何命名，我怎么知道CentOS中安装了哪个版本的火花？

当前系统已安装cdh5.1.0。

Answer 1

如果您使用Spark-Shell，它将在开头的横幅中显示。

以编程方式，可以使用SparkContext.version。

Answer 2

打开Spark shell终端，运行sc.version

Answer 3

您可以使用spark-submit命令：spark-submit --version

Answer 4

In Spark 2.x program/shell,

使用

spark.version 

其中spark变量是SparkSession对象

在spark-shell开始时使用控制台日志

[root@bdhost001 ~]$ spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

---

Without entering into code/shell

spark-shell --version

[root@bdhost001 ~]$ spark-shell --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Type --help for more information.

spark-submit --version

[root@bdhost001 ~]$ spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Type --help for more information.

Answer 5

如果您正在使用Databricks并与笔记本电脑交谈，请运行：

spark.version

Answer 6

使用下面来获得火花版本

spark-submit --version

Answer 7

哪个shell命令你使用spark-shell或pyspark，它将落在Spark Logo上，旁边有一个版本名称。

$ pyspark $ Python 2.6.6（r266：84292，2015年5月22日，08：34：51）[GCC 4.4.7 20120313（Red Hat 4.4.7-15）]关于linux2 ............ ........... 欢迎来到 版本1.3.0

Answer 8

如果你在Zeppelin笔记本上，你可以运行：

sc.version 

要了解scala版本，你也可以运行：

util.Properties.versionString

Answer 9

如果您使用的是pyspark，则可以在粗体Spark徽标旁边看到正在使用的spark版本，如下所示：

manoj@hadoop-host:~$ pyspark
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Python version 2.7.6 (default, Jun 22 2015 17:58:13)
SparkContext available as sc, HiveContext available as sqlContext.
>>>

如果要显式获取spark版本，可以使用SparkContext的version方法，如下所示：

>>>
>>> sc.version
u'1.6.0'
>>>