如果列类型具有某些正则表达式模式，则pyspark忽略行

Question

我有一个json格式的数据文件，其中一个字段以字符串和结构类型存在

当它是一个字符串

"class":{"student":"{\"one\":\"one\"}"}

当它是一个结构

    "class": {
        "student": {
            "name": ["aaa"],
            "subject": ["a", "b"],
            "regular": true
        }
    }

现在我想在值为string类型时删除该行。

具体来说，如果值具有'\'这个符号并将其他行转换为json结构类型，我想删除。这样我就可以访问特定值“class.student.name”

Answer 1

假设您的数据框名为df，而您的列col则会过滤掉您不想要的行：

df = df.where('cast(col as string) not rlike "\"')