DataBricks update_postimage 和 update_preimage 在更改数据馈送 (CDF) 中的位置

问题描述 投票:0回答:0

我对 update_preimage 和 update_postimage 在包含 CDF 中 row_level 变化的表中的位置有疑问。 每个 update_preimage 是否在其正下方都有其 update_postimage 即它们是否在两个相邻的行中?

我问这个的原因是因为我想用源表中的更新来更新接收器表所以我想把原像和后像放在同一行(可能通过使用一些窗口函数)并写一个以原像为匹配条件的 MERGE 语句 .

我尝试通过在 MERGE 语句中使用“correaled scalar subquery”来执行上述操作,但 Spark SQL 对其有一些限制。

apache-spark apache-spark-sql databricks
© www.soinside.com 2019 - 2024. All rights reserved.