EventHub 数据摄取流程指南

问题描述 投票:0回答:1

我正在将事件从应用程序发送到 eventHub。由于访问受限,我能够监控 eventHub 的运行状况图。我注意到接收到的指标事件和事件进程计数,但在检查特定 eventHub 的配置主表时,没有摄取最新数据。

目前建议我启用 eventHub 的捕获功能并配置启用了少量日志类别的存储帐户。启用该捕获功能后 1. 我需要检查什么来重新处理数据摄取失败? 2. 如果正在进行数据摄取,我可以采取哪些步骤来确保成功摄取到配置的主表中?

  1. cluster01> 诊断设置 > Avro> 捕获开启 > 选择日志类别 > 存档到存储帐户 > 指定存储帐户名称 > 保存。这些是我们目前正在遵循的步骤,所以我有一个问题,它是否只影响该 eventHub 还是该集群中可用的所有 eventHub?

期待您的建议。

azure-eventhub azure-data-explorer data-ingestion adx eventhub
1个回答
0
投票

.show ingestion failures
命令返回所有记录的摄取失败,提供详细信息,例如操作ID、数据库、表、失败时间戳、摄取源路径、失败详细信息、失败类型、根活动ID、操作类型、错误代码、主体、用户、摄取特性和来源数量。

.show ingestion failures

您还可以使用过滤器来缩小结果范围。例如,要检索特定操作 ID 的摄取失败,您可以使用:

.show ingestion failures with (OperationId = '3827def6-0773-4f2a-859e-c02cf395deaf')

这是 Azure 数据资源管理器中 .show 摄取失败命令的参考 链接

  • 在事件中心发送消息时,您可以在消息属性部分中包含自定义属性。

这些自定义属性要引入 Azure 数据资源管理器,您需要将它们嵌入到事件数据对象的正文部分。

以下示例将包含自定义属性

customProperty
(由事件中心定义)的事件数据对象(上)与摄取所需的 embedded 属性(下)进行比较。

{ "body":{ "value": 42 }, "properties":{ "customProperty": "123456789" } }
{
"body":{
"value": 42,
"customProperty": "123456789"
}
}

按照 enter image description hereso 中的步骤创建 table

请参阅此

so 将数据从存储获取到 Azure 数据资源管理器表。

    您已按照以下流程操作 cluster01> 诊断设置 > Avro> 捕获开启 > 选择日志类别 > 存档到存储帐户 > 指定存储帐户名称 > 保存。 它仅跟踪 Azure 数据资源管理器群集中的所有事件并发送到存储。它不会影响连接到数据源/添加到数据库的事件中心。
© www.soinside.com 2019 - 2024. All rights reserved.