将Informatica转换为Pyspark

问题描述 投票:0回答:1

我正在尝试将informatica转换转换为pyspark转换,但是在下面显示的代码中我被困于替换char:

"DECODE(TRUE,
ISNULL(v_check_neg_**) OR v_check_neg_** = '', 
i_default,
NOT IS_NUMBER(v_check_neg_** , 
i_default,
REPLACECHR(0,v_check_neg_**, '+-0123456789.' ,'')<>'', 
i_default,
TO_DECIMAL(v_check_neg_**,5))


v_check_neg_** = IIF(INSTR(i_string_**,'-')!=0,'-'||SUBSTR(i_string_**,1,INSTR(i_string_**,'-')-1),i_string_**)"

这是我尝试过的:

def is_digit(value):
    if value:
        return value.isdigit()
    else:
        return False

is_digit_udf = udf(is_digit, BooleanType())

df_informatica=df_informatica.withColumn(column_name,when((isnull(col(column_name)) |(col(column_name==' ')),i_default).when(is_digit_udf(col(column_name)),i_default)

df_informatica=df_informatica.withColumn

请帮助我将informatica转换为pyspark转换。

pyspark pyspark-sql informatica pyspark-dataframes
1个回答
0
投票

我看不到完整的语句,但是您的解码逻辑是-如果(v_check_neg _ **为null或v_check_neg _ =''或v_check_neg _不是数字或v_check_neg _ **除数字以外的其他值),则i_default其他TO_DECIMAL(v_check_neg _ **,5)

使用python检查上述情况,您应该一切顺利。就像您可以使用string.isnumeric()来检查正数。并使用try来检查-ve,十进制等。检查负数的示例-

def check_negative(s):
    try:
        f = float(s)
        if (f < 0):
            return True
        # Otherwise return false
        return False
    except ValueError:
        return False
© www.soinside.com 2019 - 2024. All rights reserved.