azure-data-factory-2 相关问题

Microsoft Azure的云数据集成服务,它可以将数据存储,移动和处理服务组合成自动数据管道。它可以连接到各种来源,而不仅仅是Azure。其版本2具有更多图形工具和SDK,与之前的版本相比,提供了更简单的用户体验。

ADF 数据流外部库用例

我正在使用 ADF 数据流来处理我的数据。我有一个用例,我需要根据库中的自定义逻辑将列 X 转换为 Y。在代码中处理时,我们可以将库导入

回答 1 投票 0

如何构建 FETCH 查询以使用 Azure 数据工厂获取动态 CRM 表中的所有字段

我想帮助使用 Azure 数据工厂在 Dynamics CRM 中获取表格 我使用以下参数从常规表中选择所有字段 @concat('SELECT * FROM ',pipeline().parameters.Do...

回答 0 投票 0

限制非所有者使用 Azure Policy 更改 Azure 数据工厂的协作分支

我们想对 Azure 数据工厂施加以下限制 不要让用户将协作分支从开发更改为其他任何分支。 只允许所有者更改协作

回答 0 投票 0

带有 json 数据的 Azure 数据工厂复制活动

我正在使用带有请求方法的复制活动作为 POST 从 rest api 复制 JSON 响应。其余 api 需要一个包含以下格式的日期和时间详细信息的正文 [ { “

回答 0 投票 0

如何使用 Azure 数据工厂表达式将 YYYYMM 转换为 YYYY-MM-01

我需要使用 Azure 数据工厂管道表达式将 YYYYMM 转换为 YYYY-MM-01。 我尝试了下面的表达式,但它给了我日期值应遵循 ISO 8601 格式的错误。 @

回答 2 投票 0

我也可以使用 Azure 数据工厂进行 ETL 测试吗?

如果我必须对 Azure SQL DB 中的数据进行数据迁移和 ETL 测试,那么我可以使用 Azure 数据工厂吗? 如果是,请提供一些链接来解释如何?或一些我可以的教程或页面

回答 0 投票 0

将 Azure Data Factory Pipeline 运行事件记录到 Azure App Insights。

有办法将ADF管道运行事件的状态发布到App Insights吗?

回答 1 投票 0

Azure 数据工厂 (ADF) 是否支持链接服务 Azure Cosmos DB (Table API)?

Azure Data Factory (ADF) 是否支持链接服务 Azure Cosmos DB (Table API)?如果不支持,是否可以创建链接服务 Azure Table Storage,并提供大同 DB(Table ...

回答 1 投票 0

使用SpecFlow对ADF管道进行单元测试

我开始用SpecFlow来测试我的Azure数据工厂管道。我使用的是VS 2019 & .NET Framework 4.7.2。当我尝试运行我的测试时,它开始执行,然后瞬间完成。...

回答 1 投票 0

如何在ADF中设置包含名*路径名的事件触发?

我的blob存储有这样的路径ctnteam1Raw team2Raw team3Raw我想在任何原始路径中创建blob时触发ADF管道。如何配置这种情况下的事件触发?

回答 1 投票 0

数据工厂 - 解压一个受密码保护的压缩包

我成功地从一个安全的FTP站点下载一个ZIP到我的Blob中。然而,这是一个特殊的情况下,ZIP的密码保护。似乎我唯一的选择是特殊代码,但我不确定......

回答 1 投票 0

我可以在多个内部环境中使用相同的集成运行时间服务器吗?

我们已经为ADF安装了IR服务器来连接内部环境。现在我们有另一个需求,我们需要连接到一个内部的SFTP服务器,并从他们的服务器中提取文件。

回答 2 投票 0

使用 azure 数据工厂,在没有日期或主键列的情况下进行增量加载。

我有一个源,让我们说SQL DB或Oracle数据库,我想拉表数据到Azure SQL数据库。但问题是,我没有任何日期列上的数据被插入... ...

回答 1 投票 0

Azure 数据工厂 - 数据流 - 加入- 广播

2020年4月30日,Azure Data Factory数据流在数据流中的Join Activity的Optimize Tab上显示了一个新选项。我在管道上得到一个验证错误,至少有一方应该是......

回答 1 投票 0

缓慢的Azure数据工厂流水线

我使用Azure数据工厂V2传输一些csv文件从Azure数据湖到Azure Synapse,我有一个循环,以找到我的DataLake的特殊文件夹中的所有文件。后,我有一个DataFlow ...

回答 1 投票 0

Azure Powershell Runbook 将 blob 存储中的 excel 文件转换为 csv。

我正试图将 Azure Powershell Runbook 作为 webhook 从 Data Factory 调用。该PowerShell将excel(.xlsx)转换为CSV,并驻留在blob存储中。该脚本目前仅更改文件 ...

回答 1 投票 0

在 azure 数据工厂管道的 for-each 活动中使用映射数据流。

场景:我有一个SQL DB CDC净变化进入csv文件。在流水线中,对于csv文件中的每一行都需要检查更新、插入和删除,并在我的仓库DB中做一些更改。...

回答 1 投票 0

Azure DataFactory V2: 在动态内容中使用SecureString参数

我有一个安全字符串参数的数据fatory根据另一个帖子这是访问所述参数的方式@{pipeline().parameters.ChassisSqlUsername.value}这使用,仍然给一个...

回答 1 投票 2

在大同DB SQL API中对请求进行节流。

我正在运行一个简单的adf管道,用于将数据从data lake存储到cosmos db(sql api)。在将数据库吞吐量设置为Autopilot 4000 RUs后,运行了大约11分钟,我看到207个节流 ...

回答 1 投票 0

数据工厂。JSON数据被解释为表达式 - ErrorCode=InvalidTemplate, ErrorMessage=无法解析表达式。

我想从CosmosDB数据库AproductCollection复制项目到CosmosDB数据库BproductCollection,因此我决定使用Azure数据工厂。我也激活了 "导出原样到JSON文件......"。

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.