azure-eventhub 相关问题

Microsoft Azure EventHubs是Azure云中高度可扩展的高吞吐量低延迟持久事件摄取系统。 EventHubs用作应用程序处理具有可变负载配置文件的事件的事件缓冲区。 Microsoft Azure Event Hubs与Apache Kafka或AWS Kinesis相当。这是由Microsoft团队构建和运行的完全托管服务产品。

无法检索纯文本,pako.ungzip(message) 抛出异常:标头检查不正确

我有一个服务(用java堆栈编写),它将加密和压缩字符串文本并发送到云服务(在Typescript中)。然后将加密的消息解压缩并解密为

回答 1 投票 0

MassTransit 和 EventHub 消费者群体

在 C# 中,我们如何注册与 Azure EventHub 消费者组绑定的 MassTransit 消费者? 我在文档中看到“指定的消费者组对于应用程序必须是唯一的,并且共享......

回答 1 投票 0

是否可以从azure event hub查询历史数据?

我了解到事件中心的保留期最长为 60 天。那么是否可以从Event Hub中查询历史数据呢? 它会自动删除已处理的事件吗?假设是 - 如果不是 -...

回答 2 投票 0

无法在Azure databricks中实例化EventHubsSourceProvider

我尝试使用以下代码从 Azure Databricks 的事件中心读取数据。 从 pyspark.sql.functions 导入 * 从 pyspark.sql.types 导入 * NAMESPACE_NAME =“*myEventHub*&...

回答 1 投票 0

多个接收者使用事件中心接收同一消息

在 Azure 中创建事件中心。此事件中心有 $default 使用者组。它有 32 个分区。 此事件中心有一个发送者以某种特定频率发送消息。现在...

回答 1 投票 0

AKS 上带有 KEDA 的 Azure Function 始终停止

我用 Java 编写了一个示例 Azure 函数,该函数由 eventhub 消息触发。这个函数在 FunctionApp 中部署时工作正常,但是当我将其容器化并使用 KEDA 部署时,我...

回答 1 投票 0

有人使用过 Azure 事件中心新的预览版数据生成器吗

我正在尝试查看 Azure 事件中心中使用新的 Azure 事件数据生成器生成的数据 - 我说“新”,因为它是预览版。 当我尝试查看 Databricks 中的数据时,我得到...

回答 1 投票 0

Kafka 消费者应用程序无法使用 docker compose 连接 Azure eventhub,但使用 docker 可以正常工作

我有一个Java应用程序,使用docker可以正常工作。它使用来自 Azure EventHub 的消息,进行一些转换并将它们保存到数据库中。 dockerfile 很简单: 来自采用openj...

回答 1 投票 0

使用 C# 读取以 JSON 格式存储在 Azure 事件中心架构注册表中的事件架构

我有一个以 JSON 格式存储在 Azure 事件中心架构注册表中的事件架构。 我需要在 C# 代码中读取该架构,而不需要在代码中对架构进行硬编码。 模式需要读入...

回答 2 投票 0

无法在 Databricks 中查看事件中心生成的数据错误:java.lang.IllegalArgumentException:输入字节数组具有错误的 4 字节结束单位

我已使用生成数据(预览)在 EventHub 中生成了虚拟黄色出租车数据 当我尝试使用下面的代码查看或(显示)Databricks 中的流数据时,出现错误: 错误...

回答 1 投票 0

我们可以在 Azure 事件中心捕获的文件的文件名中应用不同的时区吗

Azure 事件中心捕获的文件通常以以下格式存储 {命名空间}/{EventHub}/{PartitionId}/{年}/{月}/{日}/{小时}/{分钟}/{秒}.avro 但是,可用的占位符...

回答 1 投票 0

无法从 Databricks 的 Azure 事件中心读取错误:[DATA_SOURCE_NOT_FOUND]

我可以从 Azure EventHub 读取以下简单代码,但是我不断收到错误: SparkClassNotFoundException:[DATA_SOURCE_NOT_FOUND] 找不到数据源:eventhubs。

回答 1 投票 0

Azure 事件中心从 DataBricks 读取失败并显示 401 授权失败,因为已为命名空间禁用 SAS 身份验证

我正在使用本指南测试Azure Event和IoT Hub:https://www.databricks.com/notebooks/iiot/iiot-end-to-end-part-1.html 我已经使用事件中心兼容连接字符串创建了一个秘密...

回答 1 投票 0

用于 Azure 事件中心接收器的 Debezium 服务器将消息发送到多个分区键

我正在为 PostgreSQL azure 数据库实现 CDC。我希望将事件发送到 azure 事件中心。我当前的计划是使用 Debezium Server 和事件中心接收器来执行此操作。然而我...

回答 1 投票 0

将数据发送到 Azure 事件中心并将其转发到动态表中的 Azure 数据资源管理器

我们有一个 C++ 代理,它在大量端点(>200,000)上运行并将数据发送到后端(例如 Splunk)。这会生成大约的数据。每个端点每天 20-30 MB。 数据是...

回答 1 投票 0

消费者的数据处理暂停

我们有一个系统将事件推送到 Azure 事件中心,然后系统中的另一个组件从中心处理这些事件。该应用程序是用 Node.js 编写的,并使用标准

回答 1 投票 0

如何使用 http 客户端检索架构/将架构上传到 azure 架构注册表?

我正在尝试以编程方式从 Azure 架构注册表上传和检索架构。 看来,这不能通过 Terraform resssource 提供程序来完成,我希望您能够...

回答 1 投票 0

构造函数模拟在 Javascript 的摩卡单元测试中不起作用

我试图为 EventHubBufferedProducerClient 的构造函数方法引发异常,但它没有按预期工作。我在这里错过了什么吗? 我的上课方法: 导入 {

回答 1 投票 0

获取 Azure EventHub 的项目计数

因此,我使用 EventHub 进行数据管道排队,但为了获得缓冲摄取的好处,我需要知道某个分区中某一时刻有多少个项目。取决于消费者...

回答 2 投票 0

将 JSON 文件更改从 Azure BLOB 存储提取到 Logstash 的最常见方法是什么?

我需要集成 Logstash 数据摄取以包含存储在 Azure BLOB 存储容器中的 JSON 文件。这些 JSON 文件不断被附加,Logstash 是预期的......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.