管道事件从Azure事件中心到Azure服务总线

Question

我正在听活动中心的各种活动。

1. 每个事件都是高价值的，不能错过。
2. 事件根据设备ID进行分区。
3. 来自一个设备ID的事件很少且不是很频繁（每几dasy发生几对事件）。它仅响应于很少的用户操作而发生。
4. 设备数量巨大，因此我将针对各种设备ID进行很多活动。

对于每个事件，我需要对不是非常可靠的系统进行3-4个API调用。而且由于其中一些是跨地理电话，因此可能需要一些时间。

我计划从事件中心接收事件，并将其放入Service Bus。我的原因如下。

1. 事件中心只能缩放到32个分区，如果一个事件花费时间，整个分区将被阻塞。
2. 另一方面，服务总线具有更高的水平可扩展性。如果吞吐量下降，我可以将更多订户添加到服务总线。

我一直在寻找这样的模式，但是我没有看到过这样的模式：我们从基于日志的消息传递系统中获取数据并将其推送到基于队列的系统。

是否有更好的方法来处理这种情况？

Answer 1

我认为您可以使用事件中心触发器和服务总线输出绑定来实现您想要的。

例如，我想监视事件中心“测试”，而我正在使用C＃库：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.Azure.EventHubs;
using Microsoft.Azure.WebJobs;
using Microsoft.Extensions.Logging;

namespace FunctionApp68
{
    public static class Function1
    {
        [FunctionName("Function1")]
        [return: ServiceBus("test1", Connection = "ServiceBusConnection")]
        public static string Run([EventHubTrigger("test", Connection = "str")] EventData[] events, ILogger log)
        {
            var exceptions = new List<Exception>();
            string messageBodyt = "";
            foreach (EventData eventData in events)
            {
                try
                {
                    string messageBody = Encoding.UTF8.GetString(eventData.Body.Array, eventData.Body.Offset, eventData.Body.Count);
                    messageBodyt = messageBodyt + messageBody;
                    // Replace these two lines with your processing logic.
                    log.LogInformation($"C# Event Hub trigger function processed a message: {messageBody}");
                    //await Task.Yield();
                }
                catch (Exception e)
                {
                    // We need to keep processing the rest of the batch - capture this exception and continue.
                    // Also, consider capturing details of the message that failed processing so it can be processed again later.
                    exceptions.Add(e);
                }
            }

            // Once processing of the batch is complete, if any messages in the batch failed processing throw an exception so that there is a record of the failure.

            if (exceptions.Count > 1)
                throw new AggregateException(exceptions);

            if (exceptions.Count == 1)
                throw exceptions.Single();
            return messageBodyt;
        }
    }
}

上面的代码将从事件中心'test'收集并保存到服务总线队列'test1'。

看看这些文档：

https://docs.microsoft.com/en-us/azure/azure-functions/functions-bindings-event-hubs-trigger?tabs=csharp

https://docs.microsoft.com/en-us/azure/azure-functions/functions-bindings-service-bus-output?tabs=csharp#example