使用Pyspark的火花等

Question

我如何接受输入服务的uuid，然后在Pyspark中的DataFrame的服务uuid​​列中检查匹配的值？例如，如果我将输入ID设置为1be7c239-eef0-4f77-ad4c-bde82fe23b55，那么我只希望从DataFrame获得该ID的统计信息。

Answer 1

您可以尝试以下一种方法：

service_id = "1be7c239-eef0-4f77-ad4c-bde82fe23b55"
df.createOrReplaceTempView("data")
spark.sql(f"SELECT * from data where service_uuid='{service_id}'").collect() # replace service_uuid with the correct column name

或：

df.filter(df.service_uuid == service_id).collect()