有没有办法在 Spark 本地模式下保存表并在重新连接后检索？

Question

我正在使用带有本地 Spark (2.3.0) 的 Sparklyr。我可以使用

spark_write_table

保存表格，如

library(sparklyr)
sc <- spark_connect(master = "local", version = "2.3.0")
sdf_copy_to(sc, iris, "iris")
spark_write_table(tbl(sc, "iris"), "iris2")

那里有两个表“iris”和“iris2”：

 dbGetQuery(sc,"SHOW TABLES")

 database tableName isTemporary   
1 default     iris2       FALSE  
2              iris        TRUE

第一个似乎不是暂时的。

但是，如果我断开会话并使用

重新连接

spark_disconnect(sc)
sc <- spark_connect(master = "local", version = "2.3.0")

尽管该表存在于 Spark 仓库目录中，但我无法再找到“iris2”表。

这是预期的行为（本地模式下的 Spark 无法存储永久表）还是有技巧可以在使用相同的仓库目录时保存和检索表？

Answer 1

我也遇到同样的问题，请问解决了吗？