Azure 事件中心监听 blob 更改

Question

我有一个用例，我有一个流管道将数据流式传输到天蓝色的 blob 存储中。我想通过事件中心从 azure blob 中获取数据，并将流摄取配置到 Azure 数据资源管理器中。

我尝试在 ADX 集群上创建事件网格（blob 存储）和事件中心命名空间，其中一个事件中心指向我的存储帐户，但我没有将流消息捕获到我的事件中心。我正在使用的数据格式是 parquet。

Answer 1

以下是为 Azure 数据资源管理器创建事件中心数据连接的详细分步说明：

• 创建存储帐户并选择事件。

• 通过选择事件类型过滤器、选择端点类型作为事件中心并通过选择事件类型配置端点来创建事件订阅。

• 选择 Azure 数据资源管理器群集和数据库。创建集群和数据库。

• 必须在 Azure 数据资源管理器集群上配置流引入。

获取数据

• 导航到 Azure 数据资源管理器门户。

• 在门户中，转到查询部分。

• 右键单击要提取数据的数据库，然后选择获取数据。

  

来源

• 在获取数据窗口中，选择源选项卡。

• 选择 Event Hubs 作为数据源。

配置

• 在配置选项卡中，填写必填字段：
• 订阅： 事件中心资源所在的订阅 ID。 - 事件中心命名空间：标识您的命名空间的名称。 - 事件中心：您要连接的特定事件中心。 - 消费者组：您的活动中定义的消费者组。 - 数据连接名称：数据连接的唯一名称。 - 高级过滤器：
  • 压缩： 事件中心消息负载的压缩类型。
  • 事件系统属性：其他事件中心系统属性。
  • 事件检索开始日期： 应检索现有事件中心事件的日期。
  • 选择下一步继续。

检查

• 检查选项卡提供数据预览。要完成摄取过程，请选择完成。

• （可选）使用命令获取新数据或调整 Command Viewer 和 Schema Definition File 下拉列表中的设置。

  编辑列：根据您的数据类型进行调整。

映射变换

• 对于某些数据格式（Parquet、JSON 和 Avro），请在 Edit Columns 窗口中应用摄取时间转换。