azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

用于验证服务主体以运行数据工厂管道的 Azure MSAL 范围是什么?

我只是想在 REST API 调用周围包装一些 python,以使用 REST API 管道创建-运行来运行数据工厂管道 我正在使用 MSAL python 库来验证服务原理...

回答 1 投票 0

无法在 Azure VM 上注册 SHIR(ADF)

正如我在标题中提到的,我正在尝试在 Azure VM 上注册 SHIR(ADF),但发生了错误。 错误消息和日志如下所示。 根据 MS 文档,解决方案如下...

回答 1 投票 0

Azure 数据工厂管道和依赖触发器

我正在尝试列出所有 ADF 管道及其相关触发器。 根据这篇文章 https://learn.microsoft.com/en-us/rest/api/datafactory/triggers/get 有一个简单的 GET 方法...

回答 2 投票 0

Azure 数据工厂 - 将字符串数组(或分隔文本)中的所有值获取到单独的列以执行查找

在 Azure 数据工厂中,如何从具有字符串数组或分隔文本格式的列中获取每个单独的值以分隔列,以便我可以对每个项目执行查找以将每个项目映射到 ...

回答 1 投票 0

Azure 数据工厂集成运行时代理离线问题

我已成功从 Azure 数据工厂创建了一个到本地 SQL 数据库的自托管运行时代理。 集成运行时代理显示它已成功建立与...的连接

回答 1 投票 0

Azure 数据工厂:比较两个表时,现有转换无法按预期工作

我尝试使用数据流中的 Exists 转换来比较 Azure 数据工厂 (ADF) 中两个 SQL 表的内容,以查找增量数据。我的目标是将增量数据移至 s...

回答 1 投票 0

根据日期参数重新处理数据--azure databricks笔记本

我们有一个场景需求,根据日期重新处理旧管道。以下是详细信息 ADLSGEN2 中的存储 着陆区(数据将以与我们从 s 获得的格式相同的格式存储......

回答 1 投票 0

使用 Azure 数据工厂解压编码为 Base64 的 zip 文件

我正在使用 ADF,并且我有一个 Web 活动,该活动会生成一个 Base64 编码的 zip 文件作为输出。我能够使用 @base64ToString 解码输出并将其写入 m 中扩展名为 .zip 的文件...

回答 1 投票 0

使用 Azure 数据工厂动态创建新列

我有一张看起来像这样的桌子: id、组、库存、库存地点 1、A、30、X 1、A、20、Y 1、A、10、Z 1、B、5、EEE 1、B、10、AAA 现在的问题是:我想要一个最终列表,每个大学只有一行......

回答 1 投票 0

是否可以在 FTP 服务器上安装自托管集成运行时?

我正在尝试创建 ADF 管道,用于从 FTP 服务器(内部)到 ADF 的数据链接。 我想在 FTP 服务器上构建一个自托管集成运行时。(如果可能的话。) 我应该怎么做? T...

回答 1 投票 0

在 Azure 数据工厂“复制”活动中,如何将嵌套列添加到 XML 源数据集?

在 Azure 数据工厂中,我有一个使用 XML 源数据集的“复制数据”活动。 XML 的结构是 ... 在 Azure 数据工厂中,我有一个使用 XML 源数据集的“复制数据”活动。 XML 的结构是 <root> <record> <column1>...</column1> <column2>...</column2> </record> </root> 如何添加 column3 作为 <record> 节点的子节点?我试图在“复制数据”活动的“源”选项卡中执行此操作,它提供了添加“附加列”的选项。我已尝试使用如下语法作为附加列的名称: $['root']['record']['column3'] /root/record/column3 root/record/column3 ...其他变化 我尝试过的所有操作都会向 XML 添加一个“列”,但它会将其作为同级节点添加到 root 节点(我通过预览数据集看到这一点)。我需要新列成为 record 节点的子节点。我在互联网上没有找到任何关于此的信息。谢谢! 要将column3添加到记录节点,您可以按照以下步骤操作: 进入管道JSON,在映射部分下,为"$['root']['record']['column3']"添加column3,如下所示: 然后就可以达到你的要求了,如下图:

回答 1 投票 0

API 在 Postman 中工作正常,但在 ADF 的 Web Activity 中工作不正常

POST 请求在 Postman 中工作正常,但在 ADF 的 Web 活动中生成错误。未传递任何参数,授权设置为“从父级继承身份验证。&q...

回答 1 投票 0

无法使用托管标识将 Azure SQL 数据库链接到数据工厂

无法像 Azure SQL 数据库那样使用用户分配的托管标识进行 ADF 步骤如下: 已创建名为“WeeklyEwsUsageReport_ManageIdentity”的托管身份 已配置...

回答 1 投票 0

Azure Blob 触发器 |请求正文格式

我尝试通过ADF触发Azure blob功能并收到以下错误。 我对请求正文格式的结构有疑问。您能解释一下请求的格式吗...

回答 1 投票 0

Azure Datafactory:数据流无法访问数据库

我一直在使用数据工厂构建一个很好的 ETL 解决方案。我们必然会进入生产阶段,现在安全性成为一个真正的问题。不知何故,我似乎无法正确理解这一点...... 我已经设置了

回答 2 投票 0

ADF - 如何将每个循环中的项目设置为复制数据

我在http链接服务中将以下url设置为baseurl: https://app.zipcodebase.com/api/v1/country/province?apikey=997db720-a95e-dd921aaa6fad&country= 我创建了以下数据集并设置了相关...

回答 1 投票 0

ADF Web 活动使用系统分配的托管身份通过 Post API 获取访问令牌

我想使用 ADF、Web 活动来获取访问令牌 https://login.windows.net/************/oauth2/token 使用 ADF 系统分配的托管标识 资源是 https://purview.azure...

回答 2 投票 0

Azure 数据工厂管道未对放入参数数组中的所有字符串值执行

我在 Azure 中有一个管道,目的是从我的 MSSQL 数据库自动更新我的 Power BI 报告。该管道当前更新了三个功率双报告,其中要更新的报告是

回答 1 投票 0

我们可以将数据从 cosmos 移动到 ADF 中的 blob 作为单独的文件吗?

更新: 根据建议,我可以保存文件并删除,但无法找到将数据从 Cosmos 存储到 Azure 存储作为单独文件的方法。 这些文件被存储为一个大文件......

回答 1 投票 0

Azure Blob 存储 - 是否没有可用的取消删除事件?

我正在使用 Azure DataFactory 作为搅动一些备份/恢复用例的一部分 - 查看 Gen2 存储帐户的 Azure Blob 存储的事件类型: https://learn.microsoft.com/en-us/azure/

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.