Sparklyr未连接到Databricks

Question

我正在尝试使用sparklyr或SparkR连接到数据块。

现在我正在尝试使用sparklyr。

这是我安装Sparklyr的方式

install.packages("sparklyr")

sparklyr::spark_install()  #installing spark

sprk <- spark_connect(master = "local")    # this code works perfectly and it connects to the spark, and i can work further

sc <- spark_connect(method = "databricks")  # this is not working 

Error i get is: Error in value[[3L]](cond) : 
                Failed to start sparklyr backend: there is no package called ‘SparkR’

[当我使用Sparklyr时为什么需要有SparkR ...如何解决此问题，我需要连接到数据块。

Answer 1

您可以按照https://docs.microsoft.com/en-us/azure/databricks/dev-tools/databricks-connect的说明在本地安装和配置databricks-connect。遵循R / RStudio会话中的代码，使用sparkR.session()启动spark会话，使用sc <- spark_connect(master = "local")连接至spark，然后可以使用sparklyr。但是，与在数据砖笔记本中运行sparklyr相比，从远程位置连接到数据砖时不支持某些Sparklyr功能。