Azure流分析查询 - 执行合并

Question

美好的一天

我有一个应用程序通过Azure EventHub通过Azure SQL数据库中的Azure流分析传递数据。此数据来自每隔几分钟从成本恢复软件写入的文件，其中包含最新的完整帐户列表。

我想确保当文件中的所有数据都通过此过程时，某种形式的MERGE只会更新现有帐户并插入不存在的帐户。确保不会创建重复的帐户。

我不确定Stream Analytics是否是将数据从EventHub提供给SQL的最佳选择。

流程示例：

Answer 1

使用Azure Stream Analytics和SQL Azure DB，可以通过以下方式完成：

1. 将ASA数据输出到SQL到第一个表，它将是一个“登陆表”
2. SQL中的Create a trigger执行从登陆表到最终表的合并。

或者，如果您使用Cosmos DB作为输出，Azure Stream Analytics本身支持upsert，因此可以直接从ASA完成。

如果您有任何进一步的问题和反馈，请告诉我们。

谢谢，

JS

Answer 2

根据您的描述，您仍然可以使用Azure Data Factory来实现您的实时要求。

1.创建Event Hub Trigger Azure Function。请看这个C# example。

2.在Azure数据工厂中创建管道。

3.在该管道中，创建Azure Function Activity以配置事件中心触发器功能URL和参数。

4.在Azure Function Activity之后创建Copy Activity，以将源作为Azure Function Activity输出中的数据。

5.将接收器作为SQL数据库并创建存储过程来执行upsert合并业务。请按照此blog的详细信息。