将数据复制到Spark环境

Question

我试图将我的数据复制到spark并收到以下错误

as.data.frame.default中的错误（x，stringsAsFactors = FALSE，row.names = FALSE，：不能将类“结构”（“SparkDataFrame”，package =“SparkR”）强制转换为data.frame

我查看了文档，发现没有任何帮助

library(SparkR)
DF <- read.df("/FileStore/tables/export.csv", source = "csv", header="true", inferSchema = "true")

library(sparklyr)
library(dplyr)
sc <- spark_connect(method = "databricks")
#This gives the above error
DF_tbl <- sdf_copy_to(sc = sc, x = DF, overwrite = T)

Answer 1

我无法在没有访问export.csv的情况下测试这个问题，但问题可能来自于将SparkR函数（即read.df()）与sparklyr函数（即spark_connect()和sdf_copy_to()）混合。

我猜sparklyr::sdf_copy_to()不接受SparkR的'SparkDataFrame'类的对象。

尝试用SparkR::read.df()或readr::read_csv()替换data.table::fread()。