sparklyr 相关问题

如何使用dplyr将宽数据帧列转换为长格式？

我有一个数据框，其中包含列id，price1，price2，price3，prob1，prob2，prob3，我想将宽格式和价格，prob列转换为长格式库（dplyr）库（data.table）a

在使用R的卡夫卡主题消费流期间，是否有任何sparklyr参数返回额外的日志信息？

在设法与kafka建立连接后，当尝试使用某个主题时，什么也没有返回，我很好奇是否可以传递任何相关参数以获取关于正在发生的事情的更多日志。 ...

什么可能导致sparklyr和mleap ml_write_bundle示例出错？

我正在尝试遵循RStudio-MLeap示例（https://github.com/rstudio/mleap），但是在`ml_write_bundle（）'处出现错误。有人知道如何解决吗？ ＃示例代码：library（mleap）...

R中tbl_spark中的多种日期格式。我想将所有日期格式更改为一种格式（dd-mm-yyyy）

library（sparklyr）sc

如何在Sparklyr中获取每组的最后N行？

我有一个火花数据框，其中包含列ID，类别，时间戳，价格列。我想按客户ID对数据进行分组，按时间戳对类别进行排序，并在每个组中获取最后n行。我尝试了...

需要在闪闪发光的Databricks连接中支持Azure Data Lake Gen 2凭据通过的附加配置？

我有一个Azure Databricks（Databricks 6.4（包括Apache Spark 2.4.5，Scala 2.11））配置了Active Directory直通以支持查询Azure Data Lake Gen 2 ...的标准群集...] >> [[

使用SQL语法操作Spark DataFrame并将结果保存回群集中

我正在使用在Databricks群集上运行的RStudio服务器。我使用SQL语法在群集上操作DataFrame的一种方法是使用DBI包。例如，library（DBI）df

使用sparklyr在Databricks中读取Parquet文件

尝试使用以下代码将R中的Parquet文件读取到Apache Spark 2.4.3中。它可以在使用Windows 10的本地计算机上运行， 但不能在Databricks 5.5 LTS上运行。 library（sparklyr）library（arrow）...

如何使用Sparklyr在数据框中添加列？

我必须更改数据框并根据列中的特定单词Health添加列。当我使用dplyr在R中运行该代码时，该代码运行良好，但是当我使用sparklyr时，该代码未运行。这是第一个...

如何使用SparkR :: read.jdbc（）或sparklyr :: spark_read_jdbc（）来获取SQL查询而不是整个表的结果？

我通常在本地使用RODBC查询我的数据库。但是，我们公司最近已迁移到Azure Databricks，它本身不支持RODBC或其他odbc连接，但确实支持jdbc ...

tbl（）在sparklyr查询中的作用是什么？

假设我在名为my_query的R对象中存储了一个查询（字符串）。我想在我的Spark上下文中执行此查询。我先在Spark上下文中注册一些表。 my_table

Sparklyr k8s gClouid-容器未运行

每个人都如标题所说，我很好奇为什么无法使用kubernetes通过Sparklyr连接到gCloud集群。配置系统的步骤如下：project ...

如何在mclapply中重用sparklyr上下文 ？

我有一个R代码，该代码在sparklyr中进行了一些分布式数据预处理，然后将数据收集到R本地数据帧中，最后将结果保存在CSV中。一切正常，现在我...

如何将lubridate :: round_date用于sparklyr？

我正在将日期时间截断为分钟，小时等。诸如lubridate :: round_date之类的方法非常有用。但是我不能与sparklyr一起使用吗？未定义函数：“ round_date”。此功能...

函数或运算符`!!`在R中完成什么？

[我在使用R的Mastering Spark一书中遇到了下面的代码规范化变量的代码（第4章）。 okc_train％mutate（scaled_age =（age-!! scale_values $ mean_age）/ ...

使用sparklyr添加其他kafka使用者设置

我正在尝试使用sparklyr连接到安全的Kafka服务器。但是，要访问它，您需要指定正确的安全设置（协议，密码等）。但是当在...

在R Sparklyr中读取时间戳记值

我在读取以下格式的时间戳数据2020-01-20T19：37：58Z时遇到麻烦，该格式的数据作为字符存储在csv文件中。使用spark_read_csv（）读取数据时，控制台显示...

在sparklyr中使用ft_one_hot_encoder（）时出错

我有一个带有分类变量的数据集，我想在sparklyr中使用一键编码进行编码。下面是表头和我正在使用的代码：tbl_name％>％ft_one_hot_encoder（input_col = ...

sparklyr：如何在各个组之间进行均衡采样

我想从sparklyr中的Spark DataFrame的每个类中抽取n行。我了解dplyr :: sample_n函数不能用于此目的（使用时sample_n实际上是随机样本吗？

列出spark dabatabase中的表名称-sparklyR

是否可以列出数据库中的所有表？类似于src_databases（sc），但用于特定数据库中的对象。