RStudio连接到IBM Watson Studio上的Spark

Question

我正在尝试从IBM Watson Studio上的RStudio实例连接到Spark，但是我收到以下错误。

    No encoding supplied: defaulting to UTF-8. Error in force(code) : 
    Failed during initialize_connection: attempt to use zero-length 
    variable name
    Log: /tmp/Rtmpdee7QC/file1b33141066_spark.log


    ---- Output Log ----
    hummingbird kernel
    http://localhost:8081/apsrstudio/agent/v1/kernel/hb-connect ; Time 
    Diff :1.31352798938751
    {"code": "import sparklyr._"} ; Time Diff :0.00552034378051758

这是我用来创建连接的代码：

    kernels <- load_spark_kernels()
    sc <- spark_connect(config = kernels[1])

任何帮助将非常感谢！

Answer 1

如果您正在使用IBM Watson Studio on Cloud并在其中使用Rstudio，那么您应该使用list_spark_kernels()列出内核。

kernels <- list_spark_kernels()

然后使用spark_connect（）连接它。还有一件事，不要升级sparklyr，如果你这样做，请卸载它。由于Watson工作室云上的Rstudio具有闪亮优雅，因此可以从IBM Cloud连接到spark服务。

sc <- spark_connect(config = kernels[1])

卸载sparklyr或删除你的版本sparklyr将加载原始sparklyr（自定义）。

希望能帮助到你。

Answer 2

我能够解决这个问题！好像我错过了一个Project Access Token。可以手动创建项目访问令牌，如here所述。可以在项目的“设置”页面上创建标记。从上面分享的链接：

在项目的“设置”页面上创建访问令牌。只有项目管理员才能创建访问令牌。访问令牌可以具有查看者或编辑者访问权限。只有编辑才能将令牌注入笔记本。

添加项目访问令牌后，我可以使用问题中提供的代码连接到Spark，没有任何问题。

kernels <- load_spark_kernels()
sc <- spark_connect(config = kernels[1])