我可以通过哪些方式处理 ADX 中的重复数据

Question

有一些常见的方法来处理重复数据，如下所述这里

但我正在寻找更多选择。 谢谢

我已经尝试过这里的选项 https://learn.microsoft.com/en-us/azure/data-explorer/dealing-with-duplicates 并正在研究独特的散列行方法或触发函数和定期 KQL 查询以识别和删除重复数据的策略。

Answer 1

但我正在寻找更多选择

在 ADX 中处理重复数据的另一种方法是使用

distinct

。它从表中删除重复的数据。

下面是示例表

TableF

是使用重复数据创建的，如下所示。

使用以下查询和

distinct

来处理重复值。它将数据存储在另一个表中

newTable

let newTable = TableF
| distinct *;
newTable

输出：