我把Spark安装在我的home目录下的一个文件夹里,并把它添加到我的.bash_profile里。在终端,我可以运行 pyspark
或 spark-shell
之后 source ~/.bash_profile
. 但是对于Sparklyr来说,默认的spark位置是在用户文件夹里面。有没有一种方法可以永久改变默认位置或设置一个路径变量,而不必在每次运行新的R会话时配置它?
当我尝试连接spark声明spark安装的位置时,我得到以下错误信息。
sc <- spark_connect(master = "local", spark_home = "~/server/spark/")
`错误。Java 11只支持Spark 3.0.0+。
有没有办法把java_home也永久地配置为sparklyr?我在文档中没有找到任何关于这方面的内容。
谢谢!我使用的是Mac OS Catalina。
我使用Mac OS Catalina 10.15.4,RStudio版本1.2.5033,Spark版本2.4.5。