sparkr 相关问题

SparkR是一个R包，它提供了一个轻量级的前端来使用来自R的Apache Spark。

sparklyr 如何将 '.option("overwriteSchema", "true")' 添加到 databricks 上的 saveAsTable()

我正在databricks中运行以下代码以使用sparklyr保存表格图书馆（sparklyr）图书馆（dplyr） <- sparklyr::spark_connect(method = "databricks") dat <- sparklyr::

r apache-spark sparkr sparklyr

回答 1 投票 0

SparkR 函数在数据块中失败

我不是 R 用户，但我需要使用 SparkR 进行一些分析，并且我正在尝试运行下面的代码。管道是这里的问题吗？表%>% SparkR::select('车站') %>% 火花R::

sparkr

回答 1 投票 0

将类型从 AsIs 更改为在 R 数据框中列出

我正在尝试在 R 中制作一个如下所示的数据框：组号 1 1 [1,2,3,4,5] 2 2 [8,9,10,11] 我的做法如下：组 = c(1:2) 数字 = I(列表(...

r dataframe sparkr

回答 2 投票 0

用另一个数据帧填充一个数据帧中的值

我在 Databricks 的 R 环境中必须执行的某些处理时遇到一些问题。我有两个数据框。 df1：包含行和列（index1和index2）以及要分配的值

r sparkr

回答 1 投票 0

如何将 '.option("overwriteSchema", "true")' 添加到 SparkR 中的 saveAsTable()

更改列后，如何使用 SparkR::saveAsTable() 再次使用与现有表相同的名称保存 R 数据帧？我正在 databricks 上使用 R 并保存了一个 R 数据框...

r databricks sparkr

回答 1 投票 0

sparkR：实例化“org.apache.spark.sql.hive.HiveSessionState”时出错：

当我尝试使用sparkR时，我正在努力解决这个问题。 SparkR.session(master = "local[*]", SparkConfig = list(spark.driver.memory = "1g")) handleErrors(returnStatus, conn) 中的错误：我...

java scala apache-spark sparkr

回答 2 投票 0

使用向量按多个条件过滤

我正在尝试使用 SparkR 数据帧上的向量按多个变量过滤一系列条件。在常规数据帧上使用 tidyverse 执行此操作非常简单。例如：图书馆（&

r apache-spark sparkr

回答 1 投票 0

SparkR - 使用向量按多个条件过滤

我正在尝试使用 SparkR 数据帧上的向量按多个变量过滤一系列条件。在常规数据帧上使用 tidyverse 执行此操作非常简单。例如：图书馆（&

r apache-spark sparkr

回答 1 投票 0

如何在 ubuntu 22.04 中安装 Spark 并配置 Spark 独立集群，并从 Windows 计算机上安装的 RStudio 连接它

我已经在Ubuntu（远程服务器）上安装了spark，但无法从本地计算机（Windows 操作系统）上安装的rstudio 连接它。 start_shell 出错（master = master，spark_home =

r apache-spark sparkr

回答 1 投票 0

使用 groupBy 获取 Spark 列中的模式（最常见）值

apache-spark pyspark apache-spark-sql mode sparkr

回答 3 投票 0

r 代码将错误类型“S4”强制转换为 double 类型的向量

我是 r 代码的新手，所以这里遇到一些问题是代码图书馆（火花）图书馆（arulesViz）测试 1 <- "select t.result from usertest l join userlab t on t.uid=l.uid where t.result is not n...

r sparkr

回答 0 投票 0

如何在 R 中将稀疏矩阵转换为 Spark 数据帧

我知道我可以将稀疏矩阵转换为 Dataframe，然后将其转换为 Spark Dataframe。但是，我的数据非常大，无法转换为普通的 Dataframe。因此我想要...

r sparse-matrix sparkr

回答 1 投票 0

getSparkSession() 错误：SparkSession 未初始化

我运行了一行代码来制作一个 Spark DataFrame。在运行以下命令之前，我安装了 SparkR 并使用了库 (SparkR)：火花 df <- as.DataFrame(data) However I get the following error m...

r sparkr

回答 2 投票 0

sparkCheckInstall（sparkHome，master，deployMode）中的错误：

完成以下操作后 devtools::install_github('apache/[email protected]', subdir='R/pkg', force = TRUE) 库（SparkR）我运行它以将我的数据转换为 spark DataFrame as.DataFrame(value1) 哈...

r sparkr

回答 1 投票 0

regexp_replace[重复]中的Regex问题

问题 SparkR的regexp_replace应该遵循Java regex规则，但我很难识别某些符号。Reprex 在这个reprex中，我设法识别""或 "+"。...

java r regex sparkr

回答 1 投票 0

SparkR regexp_extract函数的问题

数据，我处理了一个大型数据集（2.8亿行），Spark和R似乎可以很好地工作。问题我有SparkR的regexp_extract函数遇到问题。我认为它类似于...

r apache-spark sparkr

回答 1 投票 0

等同于sparkR中的R mapvalues函数

我正在寻找与sparkR中R中的mapvalues函数等效的函数，例如x