user-defined-functions 相关问题

程序或环境的用户提供的功能

Aggregate Data Frame After Using Pandas Grouped Map UDF - Java Error

我的pyspark环境: AWS EMR 发布标签 6.1.0 火花 3.0.0 熊猫 1.1.0 火鸦 0.15.1 蟒蛇 3.7.16 我正在对连接到我的集群的 Jupyter Notebook 中的此错误进行故障排除。 我有一个

回答 0 投票 0

谷歌云数据流错误NoSuchMethodException:没有这样的功能

我正在使用数据流函数将 pubsub 消息以 json 的形式转换为字符串,以提交到具有正确模式的 bigquery 表中。 我使用以下 UDF 函数

回答 0 投票 0

如何让给定的程序更有效率? [关闭]

我有一个工作程序,它将大约 60 个单元格的值获取到字符串中(60 个字符串依次设置,dim ex1 作为字符串,dim ex2 作为字符串等等),然后再取另外 60 个字符串

回答 0 投票 0

UDF 使用 Groovy 过滤节点

我正在尝试根据图形映射中的语言从下面的 xml 中过滤描述节点。 ZH 你好 我正在尝试根据图形映射中的语言从下面的 xml 中过滤描述节点。 <Parent> <Lang>EN</Lang> <desc>hello</desc> </Parent> <Parent> <Lang>DE</Lang> <desc>gutentag</desc> </Parent> <Parent> <Lang>EN</Lang> <desc>Good morning</desc> </Parent> <Parent> <Lang>EN</Lang> <desc>Hellothere</desc> </Parent> <Parent> <Lang>DE</Lang> <desc>Guten Morg</desc> </Parent> </Root> 我为 UDF 尝试了以下代码,但它抛出了空值。 导入 com.sap.it.api.mapping.*; def String customFunc(String arg1,String arg2){ 如果(arg1 =="EN"){def 结果 = arg2 返回结果 }} 任何人都可以告诉我哪里出错了以及代码中需要更改什么吗? 这就是我们需要获取 XML 的方式 <Values> <Value>hello</Value> <Value>Good morning</Value> <Value>Hellothere</Value> </Values> </RootNode> 你好

回答 0 投票 0

如何为 ADO.NET 中的表值函数调用传递默认关键字

所以这是交易。在我们的数据库中,出于安全性和模块化的目的,我们将大部分读取(即选择语句)包装在表值函数中。所以我有一个 TVF 定义了一个或多个

回答 3 投票 0

使用 Scala 删除停用词

我需要从我的数据框中删除停用词。但我没有得到预期的结果。请找到下面的代码: //输入 val inputDF = Seq(("test1 ab ac"),("test2 ab"...

回答 0 投票 0

Python UDF 在 Spark 中仍然效率低下吗?

我在看 2018 年出版的 Spark: "The Definitive Guide: Big Data Processing Made Simple",现在是 2023 年,所以书中提到使用 Python 编写的 UDF 不是

回答 0 投票 0

如何在 r 中的用户定义函数中避免整洁的评估(尤其是双花括号)?

id <- 1:30 x<-rnorm(30,1,10) y<-rnorm(30,1,10) data<-data.frame(id,x,y) add<-function(data, y_1, y_2){ data<-dplyr::mutate(data,

回答 0 投票 0

匹配 PostgreSQL 中 string_agg 的数据类型

我有一个简单的表值查询,其中包含一个 string_agg() 函数。在 https://dbfiddle.uk/4WG7crbI 有一个完整的例子(我知道 CTE 是多余的,但它是 ...

回答 0 投票 0

如何在 R 中的 UDF 中自定义数据框名称

我创建了一个 UDF。 在 UDF 中,我将使用 4 个不同的数据帧创建由 colMean 组成的新数据帧,其中一个输入用于一个输出,而不是将它们组合在一起。 现在,我想要...

回答 0 投票 0

获取在 pyspark 中给定列的特定范围内具有值的所有行 ID

我有一个带有两个列的 pyspark 数据框:[id, val]。我想得到一个数据框'result_df',它将有一个额外的列,其中包含来自同一 df 的所有 id 的列表,其中'va ...

回答 1 投票 0

Amazon RedShift UDF 的 MD5 哈希

我有一个如下所示的 Redshift UDF。我需要通过检查它的 MD5 哈希值来检查这个函数是否被更改,我猜是原始哈希值,在这种情况下删除并重新创建这个函数 ...

回答 0 投票 0

在 UDF 中创建警告消息

我有一个 udf,我反复调用它来找到一条线的斜率。目标是只找到某一点附近的线的斜率,因此只有线附近的一定数量的点通过...

回答 0 投票 0

如何编写 Pyspark UDF 来生成所有可能的列总计组合?

我有以下代码,它根据我的数据框中的列组合创建一个新列,减去重复项: 按原样导入 itertools 将熊猫导入为 pd df = pd.DataFrame({ 'a': [3,4...

回答 1 投票 0

你能从一个 def 函数中提取用户输入,并在另一个 def 函数中使用它们吗?

我只在 python 上工作了几个星期,我被这个 def 函数问题困住了。我计划使用第一个函数的用户输入作为逻辑表达式的一部分,然后是

回答 1 投票 0

Spark Dataframe 上 UDF 的 def 输入参数中的空值

我在数据框上有一个 UDF,有时有一个可选/空字段。 我知道选项、大小写、匹配、重载等,但无法让它工作。 理想情况下我会喜欢这个,但我得到了一个零点......

回答 0 投票 0

以列名为参数的Snowflake UDTF / UDF

创建或替换函数 get_column_values(column1 string, column2 string, table_name string) 返回表(表名 varchar,行数) 作为 '选择不同的 column1, column2 从表...

回答 0 投票 0

在递归 CTE 中使用表值函数

我正在尝试使用递归 CTE 来组合对表值函数的多次调用。 我有一个小提琴:https://dbfiddle.uk/kktqHivz 我有一个名为 sales 的表: 创建表销售( 日期 ...

回答 1 投票 0

通过表值函数操作数类型冲突更新 DateDim 表

我正在创建一个日期表,该表还必须包含复活节假期(包括耶稣受难日)。 基于这里的代码,我现在有以下函数代码: 设置 ANSI_NULLS 去 设置

回答 0 投票 0

Matplotlib Add_subplot() 函数在 for 循环中不起作用

我创建了一个用户定义的函数,它将调用特定目录中保存的图像,并用它们制作一个子图。代码返回的不是 2x3 的子图,而是 6x1 的子图...

回答 0 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.