Microsoft Azure的云数据集成服务,它可以将数据存储,移动和处理服务组合成自动数据管道。它可以连接到各种来源,而不仅仅是Azure。其版本2具有更多图形工具和SDK,与之前的版本相比,提供了更简单的用户体验。
我正在使用 ADF 数据流来处理我的数据。我有一个用例,我需要根据库中的自定义逻辑将列 X 转换为 Y。在代码中处理时,我们可以将库导入
如何构建 FETCH 查询以使用 Azure 数据工厂获取动态 CRM 表中的所有字段
我想帮助使用 Azure 数据工厂在 Dynamics CRM 中获取表格 我使用以下参数从常规表中选择所有字段 @concat('SELECT * FROM ',pipeline().parameters.Do...
限制非所有者使用 Azure Policy 更改 Azure 数据工厂的协作分支
我们想对 Azure 数据工厂施加以下限制 不要让用户将协作分支从开发更改为其他任何分支。 只允许所有者更改协作
我正在使用带有请求方法的复制活动作为 POST 从 rest api 复制 JSON 响应。其余 api 需要一个包含以下格式的日期和时间详细信息的正文 [ { “
如何使用 Azure 数据工厂表达式将 YYYYMM 转换为 YYYY-MM-01
我需要使用 Azure 数据工厂管道表达式将 YYYYMM 转换为 YYYY-MM-01。 我尝试了下面的表达式,但它给了我日期值应遵循 ISO 8601 格式的错误。 @
如果我必须对 Azure SQL DB 中的数据进行数据迁移和 ETL 测试,那么我可以使用 Azure 数据工厂吗? 如果是,请提供一些链接来解释如何?或一些我可以的教程或页面
将 Azure Data Factory Pipeline 运行事件记录到 Azure App Insights。
有办法将ADF管道运行事件的状态发布到App Insights吗?
Azure 数据工厂 (ADF) 是否支持链接服务 Azure Cosmos DB (Table API)?
Azure Data Factory (ADF) 是否支持链接服务 Azure Cosmos DB (Table API)?如果不支持,是否可以创建链接服务 Azure Table Storage,并提供大同 DB(Table ...
我开始用SpecFlow来测试我的Azure数据工厂管道。我使用的是VS 2019 & .NET Framework 4.7.2。当我尝试运行我的测试时,它开始执行,然后瞬间完成。...
我的blob存储有这样的路径ctnteam1Raw team2Raw team3Raw我想在任何原始路径中创建blob时触发ADF管道。如何配置这种情况下的事件触发?
我成功地从一个安全的FTP站点下载一个ZIP到我的Blob中。然而,这是一个特殊的情况下,ZIP的密码保护。似乎我唯一的选择是特殊代码,但我不确定......
我们已经为ADF安装了IR服务器来连接内部环境。现在我们有另一个需求,我们需要连接到一个内部的SFTP服务器,并从他们的服务器中提取文件。
使用 azure 数据工厂,在没有日期或主键列的情况下进行增量加载。
我有一个源,让我们说SQL DB或Oracle数据库,我想拉表数据到Azure SQL数据库。但问题是,我没有任何日期列上的数据被插入... ...
2020年4月30日,Azure Data Factory数据流在数据流中的Join Activity的Optimize Tab上显示了一个新选项。我在管道上得到一个验证错误,至少有一方应该是......
我使用Azure数据工厂V2传输一些csv文件从Azure数据湖到Azure Synapse,我有一个循环,以找到我的DataLake的特殊文件夹中的所有文件。后,我有一个DataFlow ...
Azure Powershell Runbook 将 blob 存储中的 excel 文件转换为 csv。
我正试图将 Azure Powershell Runbook 作为 webhook 从 Data Factory 调用。该PowerShell将excel(.xlsx)转换为CSV,并驻留在blob存储中。该脚本目前仅更改文件 ...
在 azure 数据工厂管道的 for-each 活动中使用映射数据流。
场景:我有一个SQL DB CDC净变化进入csv文件。在流水线中,对于csv文件中的每一行都需要检查更新、插入和删除,并在我的仓库DB中做一些更改。...
Azure DataFactory V2: 在动态内容中使用SecureString参数
我有一个安全字符串参数的数据fatory根据另一个帖子这是访问所述参数的方式@{pipeline().parameters.ChassisSqlUsername.value}这使用,仍然给一个...
我正在运行一个简单的adf管道,用于将数据从data lake存储到cosmos db(sql api)。在将数据库吞吐量设置为Autopilot 4000 RUs后,运行了大约11分钟,我看到207个节流 ...
数据工厂。JSON数据被解释为表达式 - ErrorCode=InvalidTemplate, ErrorMessage=无法解析表达式。
我想从CosmosDB数据库AproductCollection复制项目到CosmosDB数据库BproductCollection,因此我决定使用Azure数据工厂。我也激活了 "导出原样到JSON文件......"。