Azure Data Explorer（ADX）vs Polybase vs Databricks

Question

问题

今天，我发现了另一个名为Azure Data Explorer (ADX)的Azure服务。抱歉，无法对服务进行这种比较，除ADX以外，我对所有其他服务都有很好的了解。我感觉功能覆盖很大，因此想知道ADX在Azure基础结构中的确切作用。

当ADX明显优于Synapse / Databricks时的用例是什么？

我对ADX的理解

[AFAIK，ADX是一个集群（按小时计费，如Databricks或Synapse，不像ADLA），它正在为您处理数据库，并针对大规模流式接收和临时查询进行了优化。它还支持外部表，该表性能较差但价格较低（您需要为Blob / ADLS存储付费）。

详细信息

我不明白为什么我们需要ADX：

1. Azure Synapse具有类似的定价模型（集群，每小时），它还支持大规模流传输摄取和即席查询。 Azure Synapse支持通过Polybase外部表查询BlobStorage / ADLS。
2. Databricks是能够执行此操作的另一项服务。使用Databricks Ingest和Delta Lake-您可以摄取流数据并以流和批处理两种方式使用它们。实际上，您可以拥有一个交互式集群来为您处理即席查询。
3. [此外，如果您需要实时分析，请使用Azure流分析。如果您想要类似Athena的体验，请使用ADLA（它仍然不支持ADLS gen2）。

Answer 1

Azure Data Explorer专注于高速度，高容量，高方差（大数据的3 V）。它对流进的此类数据提供超快速的交互式查询。它本身支持json和文本，包括全文搜索和索引。

它在与广泛的垂直领域中的感知活动和时间序列相关的广泛场景中使用：IoT，API日志，事务监控和临时数据探索。

Microsoft提供ADX即服务，因为它是Microsoft用于自身遥测的主要服务，而我们在安全性，运营监控，游戏分析，产品见解使用情况分析，物联网，联网车辆基于ADX构建。您可以在我们的文档中找到完整列表。为了清楚起见，SQL，Synapse，CosmosDB将遥测存储在Azure数据资源管理器中...

SQL DW（又名Synapse SQL池）是一个出色的数据仓库，并实现了现代的数据仓库模式。 ETL-> Curated数据模型->通过分析服务或Power BI进行加载和服务。ADX用于实时分析，可对几秒钟之内的最新数据应用读模式（SOR）。

当替换用于日志，时间序列数据库等的基于SOLR / Lucine的变体时，请将ADX视为完全托管的平台。

在大型工作负载中进行尝试，您会发现它比其他替代品便宜得多，并且功能强大且性能更高。

如果需要帮助，请与我联系。

Answer 2

Azure Data Explorer别名Kusto专注于大量数据的获取以及几乎实时的查询和分析。它是由Microsoft发明的，用于日志和遥测分析，但也可以用于其他目的，例如物联网，传感器数据或Web分析。 Azure内部服务（例如Azure Monitor和Log Analytics）中使用了相同的技术。

类似的功能可以在Synapse或Databricks或HDInsight上构建，但我认为它们是适合更广泛用例的工具。 ADX的重点很窄。 ADX确实支持查询（“ KQL”），但是对SQL的支持非常有限。只附加数据而不是更新是很好的。它不是数据仓库，数据库或数据湖。

Microsoft资料指的是ADX背后的技术，名称为Kusto。有关更多信息，请访问https://docs.microsoft.com/en-us/azure/data-explorer/kusto/concepts/。可以在此博客文章中找到服务的良好比较：https://vincentlauzon.com/2020/02/19/azure-data-explorer-kusto