azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

如何在存储帐户的订阅之间复制文件共享数据 - 描述中给出的场景

在同一个 Azure 租户中,我们在 2 个订阅中有 2 个存储帐户。 在第一个订阅 - 文件共享存储帐户中,我们在不同的文件共享中拥有数据,例如: 文件共享1uat Fileshare2ua...

回答 1 投票 0

如何展平 Azure 数据工厂中从任意容器接收到的数据?

我正在尝试使用 Azure 数据工厂从 REST API 下载一些数据。我已成功将其作为 JSON 文件下载到 Azure 存储,但收到的数据如下所示: { “@...

回答 1 投票 0

创建 ADF 管道时如何从复杂的 json 中获取列的值

我有一个来自cosmos db的复杂json,其中包含字符串格式的fsid和fpid。 我正在将数据移至 sql,其中它是整数。 我无法从 Cosmos 中读取此特定值

回答 1 投票 0

使用 Azure 数据工厂触发索引器

我正在 foreach 活动中使用删除活动来从 ADLS 容器中删除文件列表。现在删除文件后。我想执行索引器,以便我的索引指向更新...

回答 1 投票 0

如何在Azure Synapse表达式中转换perl脚本解包命令?

`代码似乎正在检查是否有任何二进制字符串将转换为整数? ``$changeNum = substr($rec, 280, 4); #281 if(!($changeNum =~ /^[0-9]+$/)) { $changeNum = 解压(&qu...

回答 1 投票 0

带动态参数的 ADF 功率查询

我有带有 csv 文件的天蓝色 blob 存储,新文件每天会发送 5 次,文件位置将位于特定文件夹下,每次传输都有新文件名。 我执行了数据

回答 1 投票 0

收集经验。映射数据流 ADF 聚合转换中具有不同值的函数

我想使用collect(column1)函数来收集Agg中按column2分组的所有行值。转型。但由于该column1有重复的值,我在返回的arr中得到了重复的值...

回答 3 投票 0

是否可以在 Azure DataFactory 删除活动的通配符中使用 ^ 运算符?

在Azure DataFactory中,我想删除特定路径中不包含子字符串(即“2024-04-15”)的所有文件。 我设法通过循环活动来做到这一点,但是当 a...

回答 1 投票 0

当文件名未知时如何从 ADF 中的“获取元数据”活动获取文件

我在第 2 代数据湖的 ODS 层中有一个文件,该文件从源转换为镶木地板。每次加载到 ODS 层时该名称都会更改。我希望能够抓住那个.snappy。

回答 1 投票 0

如果 ADF 上的值为 true,如何运行 For Each 活动?

我有一个 Lookup 活动,在其中检查 Kusto (ADX) 值是 true 还是 false,然后我可以运行下一个 Lookup 活动,最后运行基于第二个 Lookup va 的 For Each 活动...

回答 1 投票 0

Azure DataFactory DataFlow:需要将 JSON 文档从每行文档转换为单个复杂文档

当前使用 ADF 尝试将 Datalake 中的 JSON 文档架构转换为需要将项目加载到 HubSpot 的架构。我遇到的问题是输出模式始终是

回答 1 投票 0

将键和值的嵌套 XML 数组转换为 Azure 数据工厂中的单行

创建数据流以将 XML 数据写入发票行项目的 SQL 表。我有如下 XML 源数据(已编辑),在展平后,我隔离了“数据”元素(在

回答 1 投票 0

ADF 在更改行后不会更新接收器

我是 ADF 的新手,但已经取得了很大的成功。然而,无论我做什么,我的数据流的这一部分都不会更新接收器。我有一个如下所示的 Azure SQL 数据库表。关键...

回答 2 投票 0

将 json 文件内容从 ADLS 中的目录传递到存储过程

我在ADLS中有一个目录,其中有100个json文件。我想列出所有 json 文件,并使用 adf 将每个文件中的 JSON 数据传递到存储过程。我该怎么做?我会解析内容...

回答 1 投票 0

如何使用 Azure 数据工厂 Web 活动运行 powershell 命令

我正在尝试运行 PowerShell 命令来在 Azure VM 中创建数据库的 BACPAC 备份,有谁知道如何通过 Web 活动将该命令传递到 VM? 连接是...

回答 2 投票 0

如何将 WebActivity 输出写入 ADF 中的 Kusto 表

我的网络活动的输出是一个json文件。 我想将整个 json 转储到单列 kusto 表中。 (可能会在 azure 数据工厂管道中执行 .set-or-replace)。 所以,我的管道有一个网络

回答 1 投票 0

Azure 数据工厂 - CosmosDb 托管身份连接 - 遇到超时(408 错误代码)

在 Azure 数据工厂中,我最近将使用连接字符串的 CosmosDb 连接移动到使用带有 RBAC 的托管标识(Cosmos DB 内置数据读取器角色)。 然而,我注意到...

回答 1 投票 0

Azure 数据工厂 - 无法计算表达式,因为属性“firstrow”不存在

我的 ADF 管道中有一个步骤失败并出现以下错误: 对目标 LastRun 的操作失败:表达式 'formatDateTime(activity('Last Run').output.firstRow.lastdate, 'yyyy-MM...

回答 1 投票 0

使用 HTTP 从 Azure 数据工厂下载文件并将其存储在文件存储上

我是Azure数据工厂的新手,我已经按照在线教程学习了如何将数据从api下载到ADF并存储zip文件。但是,当我运行管道时,我收到这些错误 呃...

回答 1 投票 0

ADF REST API 活动中的分页规则错误

大家好,我是这个 ADF 管道的新手,需要您帮助如何设置分页规则。 https://learn.microsoft.com/en-us/azure/data-factory/connector-rest?tabs=data-factory#pagination-supp...

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.