azure-eventhub 相关问题

Microsoft Azure EventHubs是Azure云中高度可扩展的高吞吐量低延迟持久事件摄取系统。 EventHubs用作应用程序处理具有可变负载配置文件的事件的事件缓冲区。 Microsoft Azure Event Hubs与Apache Kafka或AWS Kinesis相当。这是由Microsoft团队构建和运行的完全托管服务产品。

无法实例化Azure Databricks的EventHubSourceProvider

使用结构化流pyspark中记录的步骤,我无法从为读取流数据而设置的Azure事件中心在pyspark中创建数据框。错误消息是:...

回答 1 投票 0

如何解决“没有命名为 “]的事件中心接收器的问题> 我正在编写一个蔚蓝的webjob,它使用NET Core 3.1从eventhub读取事件。我有一个如下的配置文件: { "JobHostConfig": { "DashboardConnectionString": "", "StorageConnectionString": "xx" }, "EventHubConfig": { "EventHubConnectionString": "xx", "EventHubName": "xx", "EventProcessorHostName": "xx", "ConsumerGroupName": "xx", "StorageConnectionString": "xx", "StorageContainerName": "xx" } } 在Main方法中,我调用ConfigureServices方法,该方法类似于: var builder = new ConfigurationBuilder() .SetBasePath(Directory.GetCurrentDirectory() + $"\\..\\..\\..\\ConfigFiles") .AddJsonFile($"applicationConfig.json", optional: true, reloadOnChange: true) .AddJsonFile($"applicationConfig.{environment}.json", optional: true, reloadOnChange: true); Configuration = builder.AddEnvironmentVariables() .Build(); services.AddSingleton<IConfigurationRoot>(Configuration); services.AddSingleton<IConfiguration>(Configuration); services.AddMvcCore(); services.AddSingleton(GetInstance<EventHubConfig>()); services.AddSingleton(GetInstance<JobHostConfig>()); 我确认在运行时,仅在Configuration中填充配置,如下所示:Configuration["EventHubConfig:EventHubName"]。但是我还调试了尚未设置环境变量,并且其值为null。 所以当我这样做时:ProcessEvent([EventHubTrigger("%EventHubName%", ConsumerGroup = "%ConsumerGroupName%", Connection = "%ConnectionString%")] EventData eventData)我得到%EventHubName%尚未解决。 而且,当我对这些值进行硬编码时,我得到:没有指定事件中心接收器。 有人可以提示我的注册有什么问题吗? 此外,我在EventHubTrigger中将值替换为字符串,并且得到的值不能为null。参数名称:receiverConnectionString 我正在编写一个蔚蓝的webjob,它使用NET Core 3.1从eventhub读取事件。我有一个如下配置文件:{“ JobHostConfig”:{“ DashboardConnectionString”:“”,“ ... 右键单击[appsettings.json file -> click propertities -> set the "Copy to output directory" 以“如果更新则复制” 并且代码应该是 public static void Trigger([EventHubTrigger("my eventhub name",Connection = "EventHubConnectionString")] EventData message, ILogger logger) { string data = Encoding.UTF8.GetString(message.Body); Console.WriteLine(data+";;xxx"); } 使您的appsettings.json更简单 { "AzureWebJobsStorage": "DefaultEndpointsProtocol=https;AccountName=xxx;AccountKey=xxx;EndpointSuffix=core.windows.net", "EventHubConnectionString": "Endpoint=sb://xxxx" } 使用%%格式时,应使用Custom binding expressions。 有关更多详细信息,请参阅此answer。 [如果您还有其他问题,请告诉我。

我正在编写一个蔚蓝的webjob,它使用NET Core 3.1从eventhub读取事件。我有一个如下配置文件:{“ JobHostConfig”:{“ DashboardConnectionString”:“”,“ ...

回答 2 投票 0

带有Python的Azure函数|如何输出到多个事件中心

我已经在Python中创建了一个Azure函数,该函数从事件中心触发,并在其计算后输出到两个给定的事件中心之一。我尝试了以下操作,但不起作用:def main(...

回答 1 投票 0

Azure函数在Azure上部署后不起作用?

我对Azure完全陌生。而且我尝试建立以下体系结构以显示Power bi中来自Vicotee Device的传感器数据。 Vicotee设备-> LoraGateway-> Azure IOT集线器-> Azure ...

回答 1 投票 0

SPARK java.lang.OutOfMemoryError:没有足够的内存来建立表并将表广播到所有工作程序节点

我正在使用spark合并从我从eventhub获取的azure存储和流数据集中获取的静态数据集。我没有在任何地方使用广播加入。我在加入后尝试了df.explain(),它显示...

回答 1 投票 0

Azure eventhub EventHubConsumerAsyncClient无法在Springboot非Web应用程序中启动

我正在使用Springboot构建Azure事件中心使用者,它可以与Web配置一起使用。我正在尝试通过非Web配置实现与以下摘要相同的结果,并以...

回答 1 投票 0

如何通过数据内容从Azure Data Lake Gen2中选择Avro文件的子集

我在启用了捕获功能的事件中心服务发送的Azure Data Lake Gen2存储中有很多Avro文件。这些Avro文件包含来自不同传感器和引擎的数据。 ...

回答 1 投票 0

如何将传入消息映射到Azure Eventhub中的使用者组

我正在尝试使用Azure EventHub来处理消息,只要我有一个发件人和一个使用者,它就可以正常工作。我简单地让我的消费者收听特定的消费者组以及所有...

回答 1 投票 0

Azure事件中心日志使用查询进行流式处理

如何处理来自事件中心的Azure日志事件并根据条件进行过滤。我们正在尝试过滤特定的关键或与安全相关的诊断和活动日志,然后再馈入Onprem ...

回答 1 投票 1

可以从Microsoft.Azure.EventHubs库迁移到Azure.Messaging.EventHubs,而不会丢失检查点吗?

Azure Event Hubs发布了现代客户端库(Azure.Messaging.EventHubs),用于读取和写入事件中心。新的库应该替换旧的库(Microsoft.Azure.EventHubs),所以...

回答 1 投票 0

Azure事件中心:每个使用者组在一个分区上最多可以有5个并发阅读器

也根据Microsoft文档,每个使用者组在一个分区上最多可以有5个并发阅读器;但是,建议每个使用方的分区上只有一个活动接收器...

回答 1 投票 0

使用Java代码将Azure HDInsight Spark应用程序链接到Azure EventHub

[如何使用JAVA代码在Azure HDInsight Spark群集应用程序中进行某些处理之后,编写代码以将消息从1个EventHub读取到另一个消息?]

回答 1 投票 0

如何从IoT中心反序列化已传递给事件中心的事件?

我正在处理来自与IoT中心连接的EventHub的消息。我将尝试解释整个过程。使用终端,我将以下命令发送到部署在Azure上的IoT中心组件:...

回答 1 投票 0

Azure Event Hub中的日志数据被提取到ADX表中,没有显示任何记录,但是记录计数到来

[[https://stackoverflow.com/a/61135904/10009608] [1]我正在将事件中心的日志数据摄取到ADX表中,没有摄取错误,但记录未显示在ADX表中。我检查了指标...

回答 1 投票 0

计算Azure事件中心每秒的传入字节数

我如何计算事件中心名称空间的每秒传入字节数?我不控制数据生成器,因此无法预先预测传入的字节。我对调整...

回答 1 投票 0

文件'************。avro'可能无法正确呈现,因为它包含无法识别的扩展名。事件中心-在存储帐户中捕获容器

文件'************。avro'可能无法正确呈现,因为它包含无法识别的扩展名。事件中心-捕获存储帐户中的容器我有一个事件中心,可捕获容器中的数据...

回答 1 投票 -1

如何使用Python从Azure Data Lake Storage Gen2中的事件中心访问捕获的数据

我正在使用connection_string来访问Azure Data Lake Gen2存储,在其中包含文件夹的典型目录结构下,Event Hubs Capture在其中存储了大量Avro文件...

回答 1 投票 0

具有Azure事件中心的触发器。>

我正在阅读有关使用Streaming与Trigger.Once而不是批处理(https://databricks.com/blog/2017/05/22/running-streaming-jobs-day-10x-cost-savings.html)。我正在使用Azure事件中心...

回答 1 投票 0

带有输入绑定的Azure功能的Azure事件中心存储容器配置

[使用输入绑定的Azure函数处理事件中心事件时,是否可以更改为事件中心分区检查点配置的存储帐户?是否可以使用...

回答 1 投票 0

EventHub使用python触发功能

希望您做的很好。我需要您在使用python来获取Azure函数的基本设置方面的帮助,以获取事件中心字符串数据并将遥测同时推送到存储和Web应用程序。 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.