Azure DataBricks - 希望在 Log Analytics 中查询“工作流”相关日志（即名称、创建者、最近运行、状态、开始时间、作业）

Question

我们希望将“工作流”部分的日志从 Azure DataBricks 获取到我们的 Log Analytics 工作区。我们的日志分析工作区与诊断设置中启用的所有日志相连接。在工作流内部，我们看到一个输出表，其中包含我们需要的数据，但无法在 Log Analytics 中访问以显示在工作簿上。我尝试使用 DatabricksJobs 操作进行查询，但它不会输出我们在中看到的以下列工作流程输出表？

开始时间 工作 运行为 推出 期间 地位 运行参数

我们尝试在启用每个诊断参数时使用所有可用的操作进行查询。我们希望它们成为查询工作流相关作业的参数，并输出在我们的日志分析工作区的数据块中看到的类似表。

Answer 1

默认情况下，databricks 的日志将具有以下架构。

如果您想要运行选项卡中的数据

1. 开始时间
2. 运行ID
3. 推出
4. 持续时间
5. 状态
6. 错误代码
7. 运行参数

您需要使用上述架构创建自定义表并记录详细信息。

使用此api，您可以获取详细信息并提取您需要的数据。

获得结果后，使用 python 代码将其发送到日志分析。 请参阅this堆栈解决方案了解如何将数据发送到日志分析表。