如何在SparklyR中改变默认的Spark_home和Java_home?(R Mac OS)

问题描述 投票:1回答:1
  1. 我把Spark安装在我的home目录下的一个文件夹里,并把它添加到我的.bash_profile里。在终端,我可以运行 pysparkspark-shell 之后 source ~/.bash_profile. 但是对于Sparklyr来说,默认的spark位置是在用户文件夹里面。有没有一种方法可以永久改变默认位置或设置一个路径变量,而不必在每次运行新的R会话时配置它?

  2. 当我尝试连接spark声明spark安装的位置时,我得到以下错误信息。

sc <- spark_connect(master = "local", spark_home = "~/server/spark/")

`错误。Java 11只支持Spark 3.0.0+。

有没有办法把java_home也永久地配置为sparklyr?我在文档中没有找到任何关于这方面的内容。

谢谢!我使用的是Mac OS Catalina。

我使用Mac OS Catalina 10.15.4,RStudio版本1.2.5033,Spark版本2.4.5。

r macos apache-spark sparklyr java-home
1个回答
0
投票

我用了两个步骤。

  1. 我通过运行 /usr/libexec/java_home -v 1.8 (这也应该已经在bash配置文件中设置好了,更多详情请见 此处)

  2. 我在我的.Renviron文件中添加了一个JAVA_HOME(和SPARK_HOME)变量,这样我就不必为每个会话设置它。 我使用了 usethis::edit_r_environ() 打开文件,并重启我的R会话使其生效。 (关于.Renviron的更多细节 此处).

© www.soinside.com 2019 - 2024. All rights reserved.