Microsoft Azure的云数据集成服务,它可以将数据存储,移动和处理服务组合成自动数据管道。它可以连接到各种来源,而不仅仅是Azure。其版本2具有更多图形工具和SDK,与之前的版本相比,提供了更简单的用户体验。
我正在设置ADF管道以将blob复制到Azure SQL DB。我的管道中有一个Iteration活动,在其中设置了一个计数器,使其仅在存在blob的情况下循环和复制。这很好用...
我有一个空白的Data Factory-v2(TestDataFactory-123Test),我想使用现有的ADF(TestDataFactory-123)填充它。我一步一步地遵循了官方...
我正在尝试在复制数据活动中创建动态查询,以基于时间戳从表中提取数据。查找还获得了我尝试从[dbo] .t_tablename中选择*的正确值,其中...
任何人在接收器数据集中的目录设置都有问题。文件最终位于仅包含文件系统值的位置:因此,文件最终以/ curated结束,但应以....] >>
具有动态路径的ADL之间的Azure Data Factory副本
我正在尝试在两个Azure数据湖GEN1之间创建一个复制活动。我必须在其中一个子文件夹可变的路径上进行复制,例如:rootFolder / subFolder1 / * / subFolder3 ...
超时已到期-将数据从托管实例移动到DataWarehouse AZure数据工厂
我们有大量数据要在托管实例和DataWarehouse之间移动。我们正在使用大容量插入来移动数据。问题:超时已到期-将数据从托管实例移动到DataWarehouse AZure ...
在Azure数据工厂中使用@item()。name设置'Copy Data'源文件夹
我有以下管道:Get Metadata1基本上检索子项(这是文件夹的集合,即originalFolder1,originalFolder2等)。在ForEach1活动中,我将复制数据...
ADF:将带有对象数组的JSON文件拆分为单个JSON文件,每个JSON文件中包含一个元素
我正在使用Azure数据工厂,并尝试将JSON对象数组的JSON文件转换为单独的JSON文件,每个JSON文件包含一个元素,例如输入:[{“ Animal”:“ Cat”,“ Colour”:“ Red”,“ Age” ...
将“设置变量”活动的输出传输到json文件[Azure数据工厂]
在Data Factory中,我们可以将'Set Variable'活动的输出记录为json文件吗?
我正在做一个简单的复制数据数据工厂管道。我正在访问一个文件夹,并希望检索与特定模式匹配的所有文件。我只能将“通配符文件名”用于...
在我们的DataLake存储中,我们每天收到未指定数量的文件夹。这些文件夹中的每一个都包含至少一个文件。文件夹示例:FolderA | _ / 2020 | _ / 03 | ...
如何在DataFactory中获取以下值:上次触发管道的时间触发管道的当前启动时间
“获取元数据”活动中的“ Azure ADF-ContentMD5”字段始终为空
如果我在azure blob存储中手动上载txt或csv文件,则在使用获取元数据活动时,我总是得到“ contentMD5”:null,而输出的其他字段总是被填充。我也是...
使用数据工厂从SAP提取到Data Lake Gen2的数据
我想知道从SAP BW提取数据(一张表)到Azure数据湖gen2的过程。 SAP也在Azure云上。我想使用ADF将数据从SAP BW复制到Data Lake。我们可以连接...
Azure Data Factory:数据生命周期管理和清理陈旧数据
我正在努力降低数据存储成本。它包括以下任务:基于文件的最后修改权限,能够从文件共享和Blob存储中删除文件...
我正在尝试查找字符串的子字符串作为ADF中活动的一部分。举例来说,我想从字符串“ abcde”中提取出“ de”。我试过了:@substring(variables('...
我在Azure中有一个工作流/管道,它可以连接到第三方FTP(通过链接服务)并定期获取文件。一切正常,直到第三方介绍了IP的白名单,然后...
我不熟悉Azure数据工厂,并且遇到了一个问题,在我的ADF管道的“接收器”部分中,如果我将“合并文件”指定为“复制行为”,则我的输出文件名会失真... 。
我们有一个父管道,该管道获取表列表并将其馈入ForEach。然后在ForEach内,我们调用传递一些配置的另一个管道,该子管道将数据移动到...