azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

ADF 分页规则的动态内容

将复制活动与分页和查询参数 Range 一起使用。当我将 Range 硬编码为 Start=1 和 End = 41 且偏移量为 1(逐页)时,它工作正常。但是,我不知道 & 是什么。 ..

回答 1 投票 0

无法在 ADF 中使用动态日期时间变量运行查询

我为管道创建了 2 个变量,如下所示: 我正在尝试在复制数据活动中运行以下增量查询 @concat(' 选择 * 从 [',变量('模式'),'].[...

回答 1 投票 0

如何使用 Azure 数据工厂在 REST API 连接服务的相对 URL 中插入页面范围变量?

首先,使用复制数据命令与使用数据流执行相同操作,但在摄取和接收器之间添加展平转换时,分页的工作方式似乎有所不同。 当

回答 1 投票 0

在 Azure 数据工厂中读取 JSON

我正在尝试将复制数据元素的映射部分配置为从 REST 端点读取。 REST 按以下方式返回 JSON。如何配置映射部分?请帮忙!!

回答 1 投票 0

创建一个 ADF 删除活动表达式,如果目标文件夹不存在则不执行任何操作

我有一个源文件夹,已上传到 ADLS 容器中的“load”目录。我使用表达式 @concat(item().container, '/load/', Activity('Get Metadata1') 创建了一个 ADF 删除活动。

回答 1 投票 0

如何从Azure数据工厂中的azure databricks笔记本返回数据

我有一个要求,我需要转换azure databricks中的数据,然后返回转换后的数据。下面是笔记本示例代码,我试图返回一些 json。 来自 pyspark.sql。

回答 2 投票 0

Azure 数据工厂:带有batchCount 和item() 属性的foreach 循环

我有一个带有 ForEach 循环的数据工厂管道,其中有两项活动:一项是调用 HTTP 端点来检索文件,一项是将此文件存储到 Azure 存储帐户中。 我已经设置了...

回答 3 投票 0

使用 ADF 的 Rest API 分页

我正在努力使用 REST API 并使用 Azure 数据工厂获取所有记录,我只获取第一条记录,但是在 Postman 中我获取了所有记录,有人可以帮助我分页吗?贝尔...

回答 1 投票 0

使用 Azure 数据工厂复制活动(或类似活动)访问 REST API 状态代码?

我正在使用复制活动通过 Azure 数据工厂调用 REST API 端点。对于未找到数据的有效查询,API 返回 404 - 未找到。这是否是适当的回应或...

回答 1 投票 0

更改数据采集资源;多租户环境中的扩展

我正在探索将 CDC 资源用于我们的 ETL。然而,如果每个客户端一个数据库,我们就有数百个数据库。该功能仍处于预览阶段,关于 sca 有哪些尝试/想法...

回答 1 投票 0

将 Azure 数据工厂连接到 https://make.powerapps.com/

我在我的 Powerapps 帐户 (https://make.powerapps.com/) 中创建了一些表。我想在我的 Azure 数据工厂中读取此数据以进行进一步处理。我找不到任何选项或

回答 1 投票 0

使用 REST 通过 Fabric Datafactory 创建数据管道时遇到困难

我正在使用日期作为参数在 Fabric Data Factory 中创建数据管道。但是,系统出现以下错误: 在此输入图像描述 我想在变量中传递一个日期

回答 1 投票 0

为什么微软同时拥有Synapse和ADF?两者不是一样吗?

我是 Microsoft ETL 世界的新手,但我只是不明白为什么 Microsoft 同时拥有 Synapse 和 ADF。 两者不是一样的吗? 或者它们有不同的目的?

回答 1 投票 0

使用活动输出作为步骤名称以获取 ADF 中的附加信息

我正在尝试捕获Azure数据工厂中的错误数据。当任何活动发生错误时,我想捕获错误信息并将其传递到另一个管道中进行处理和存储。对于

回答 1 投票 0

Azure 数据工厂复制活动仅导入 XML 文件的第一行

我有一个 XML 文件,正在使用 Azure 管道数据复制活动将其导入到 SQL 表中。该文件导入正常,但仅将第一行导入到 SQL 表中。这并不意味着...

回答 1 投票 0

基于元数据依赖关系运行 synpase 笔记本时的退出循环条件

屏幕截图显示了 Azure ADF 中的 Until 活动中正在运行的内容。查找-获取parentNotebook正在尝试检查是否有任何父笔记本名称其子笔记本已成功并且

回答 1 投票 0

从 Azure 数据工厂中的整个文件读取非结构化文本

我有一个文件,在 ADLS 中以非结构化 txt 形式存在。我想以文本形式读取整个文件内容并将其传递到 Azure 数据工厂中的存储过程。这可以通过 Azure 来完成吗...

回答 1 投票 0

如何根据文件夹 F2 中是否存在其内容来复制文件夹 F1 中的 XML 文件(忽略文件名)

我们已经为我们运行的其他进程准备了一个 Azure 数据工厂,因此正在尝试使用它来解决以下问题: 我们已经拥有的: ADF 已部署并运行,我们只需创建一个...

回答 1 投票 0

REPLACE() 等 tsql 函数在连接到 salesforce 的 Azure 数据工厂管道中失败

这位于连接到 salesforce 的 ADF 管道中。 使用 REPLACE()、TRANSLATE() 等常见 tsql 函数会导致错误。 目标:清理特殊字符,例如换行符和分隔符...

回答 1 投票 0

参数值未在 ADF 中解析

我有一个场景,我想动态地将参数传递给存储过程。我创建了一个名为 runId 的参数,并将值指定为 1234,并创建了另一个参数,我可以...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.