sparkr 相关问题

SparkR是一个R包,它提供了一个轻量级的前端来使用来自R的Apache Spark。

如何在RStudio中启动SparkR时解析(javaVersionNum!= sparkJavaVersion)

我收到以下错误:if(javaVersionNum!= sparkJavaVersion)中的错误{:缺少值,当我尝试在Rstudio中启动SparkR会话时需要TRUE / FALSE。我怎么可能......

回答 1 投票 2

将数据复制到Spark环境

我试图将我的数据复制到spark并在as.data.frame.default中获取以下错误错误(x,stringsAsFactors = FALSE,row.names = FALSE,:不能强制类“结构(”...

回答 1 投票 0

使用R将数据桶中的火花数据帧写入azure数据湖存储

我想使用R将数据库中的spark数据帧保存/写入/上传到azure data lack store文件夹中。我找到了以下python代码。 spark_df.coalesce(1).write.format(“com.databricks ....

回答 1 投票 1

Spark Dataframe中的重复列

我在hadoop集群中有一个带有重复列的10GB csv文件。我尝试在SparkR中分析它,所以我使用spark-csv包将其解析为DataFrame:df

回答 3 投票 6

sparkR中的Hadoop配置

我有一些问题,配置带有sparkR的hadoop,以便从amazon S3读取/写入数据。例如,这些是在pyspark中工作的命令(解决相同的问题):sc._jsc ....

回答 2 投票 3

SparkR:levenshtein来自2个Spark数据帧的2个变量之间的模糊字符串匹配

我有2个Spark数据帧库(SparkR); library(magrittr)df1

回答 1 投票 0

使用SparkR离散变量

我想使用R(最好是SparkR)对变量进行离散化处理,以便所需的结果如下所示。 library(arules)mtcars%>%mutate(bins = discretize(x = mpg,method =“...

回答 1 投票 1

SparkR中的NCHAR替代方案

我需要计算一个字符串中的字符数,在R中我们使用nchar,sparkR中的替代函数是什么

回答 1 投票 0

在SparkR中使用grep时出错

我对Spark DataFrame的子集化存在问题。我有一个名为nfe的DataFrame,它包含一个名为ITEM_PRODUTO的列,其格式为字符串。我想把这个子集......

回答 1 投票 3

SparkR窗口功能

我从JIRA发现SparkR的1.6版本已经实现了包括滞后和排名的窗口函数,但是还没有实现over函数。如何在没有...的情况下使用滞后函数等窗函数

回答 1 投票 1

如何在SparkR中使用AND和OR编写逻辑列表达式?

我需要根据几个其他列的一些逻辑标准将列添加到SparkR(spark版本2.1.1)数据集。但明显的解决方案(使用&&或||)不起作用,我得到“无效'x'类型...

回答 1 投票 0

SparkR错误:HDFS上的root scratch dir:/ tmp / hive应该是可写的

我正在尝试初始化SparkR,但我收到了权限错误。我的Spark版本是spark-2.2.1-bin-hadoop2.6。我已经搜索了这个错误以及如何解决它,我发现了几个相关的...

回答 1 投票 0

如何在R中选择具有公共标记的所有列?

我有一个包含数百列的SparkDataFrame,我想只选择那些带有“time”字样的列。而不是做这样的事情必须写出列的所有名称......

回答 1 投票 0

如何使用Jupyter + SparkR和自定义R安装

我正在使用Dockerized映像和Jupyter笔记本以及SparkR内核。当我创建SparkR笔记本时,它使用Microsoft R(3.3.2)的安装而不是vanilla CRAN R install(3.2.3)。 ......

回答 2 投票 1

是否可以在Sparklyr中将ORC文件读取到Spark数据框?

我知道sparklyr有以下读取文件方法:spark_read_csv spark_read_parquet spark_read_json读取orc文件怎么样?这个图书馆是否支持它?我知道我可以使用阅读....

回答 1 投票 3

SparkR Stage X包含一个非常大的任务

我在使用R数据框调用createOrReplaceTempView时收到此警告:createOrReplaceTempView(as.Data.Frame(products),“prod”)我应该忽略此警告吗?这效率低吗? ...

回答 1 投票 0

SparkR:无法创建Spark会话

我试图在Windows机器上运行SparkR。我在R Studio中运行了以下命令:库(SparkR,lib.loc = c(file.path(Sys.getenv(“SPARK_HOME”),“R”,“lib”)))这次运行成功。我是 ...

回答 3 投票 1

使用SparkR的Sparklyr:麻烦解析函数参数

我正在使用SparkR运行Sparklyr。当我尝试使用spark_read_csv()创建的数据表调用schema()函数时,我收到以下错误(以及select()和lapply上的类似错误(...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.