azure-data-factory-2 相关问题

Microsoft Azure的云数据集成服务,它可以将数据存储,移动和处理服务组合成自动数据管道。它可以连接到各种来源,而不仅仅是Azure。其版本2具有更多图形工具和SDK,与之前的版本相比,提供了更简单的用户体验。

Azure Data Factory管道“发生故障”

我正在设置ADF管道以将blob复制到Azure SQL DB。我的管道中有一个Iteration活动,在其中设置了一个计数器,使其仅在存在blob的情况下循环和复制。这很好用...

回答 1 投票 0

导入用于创建ADF资源而不创建任何内容的ARM模板

我有一个空白的Data Factory-v2(TestDataFactory-123Test),我想使用现有的ADF(TestDataFactory-123)填充它。我一步一步地遵循了官方...

回答 1 投票 0

动态SQL加载Azure复制数据活动

我正在尝试在复制数据活动中创建动态查询,以基于时间戳从表中提取数据。查找还获得了我尝试从[dbo] .t_tablename中选择*的正确值,其中...

回答 2 投票 0

[ADF:在我的数据流中忽略接收器目录

任何人在接收器数据集中的目录设置都有问题。文件最终位于仅包含文件系统值的位置:因此,文件最终以/ curated结束,但应以....] >>

回答 1 投票 0

具有动态路径的ADL之间的Azure Data Factory副本

我正在尝试在两个Azure数据湖GEN1之间创建一个复制活动。我必须在其中一个子文件夹可变的路径上进行复制,例如:rootFolder / subFolder1 / * / subFolder3 ...

回答 1 投票 0

超时已到期-将数据从托管实例移动到DataWarehouse AZure数据工厂

我们有大量数据要在托管实例和DataWarehouse之间移动。我们正在使用大容量插入来移动数据。问题:超时已到期-将数据从托管实例移动到DataWarehouse AZure ...

回答 1 投票 0

在Azure数据工厂中使用@item()。name设置'Copy Data'源文件夹

我有以下管道:Get Metadata1基本上检索子项(这是文件夹的集合,即originalFolder1,originalFolder2等)。在ForEach1活动中,我将复制数据...

回答 1 投票 0

ADF:将带有对象数组的JSON文件拆分为单个JSON文件,每个JSON文件中包含一个元素

我正在使用Azure数据工厂,并尝试将JSON对象数组的JSON文件转换为单独的JSON文件,每个JSON文件包含一个元素,例如输入:[{“ Animal”:“ Cat”,“ Colour”:“ Red”,“ Age” ...

回答 1 投票 0


将“设置变量”活动的输出传输到json文件[Azure数据工厂]

在Data Factory中,我们可以将'Set Variable'活动的输出记录为json文件吗?

回答 1 投票 0

在数据工厂中复制数据时过滤多个通配符文件名

我正在做一个简单的复制数据数据工厂管道。我正在访问一个文件夹,并希望检索与特定模式匹配的所有文件。我只能将“通配符文件名”用于...

回答 1 投票 0

迭代Azure数据工厂中的每个文件夹

在我们的DataLake存储中,我们每天收到未指定数量的文件夹。这些文件夹中的每一个都包含至少一个文件。文件夹示例:FolderA | _ / 2020 | _ / 03 | ...

回答 1 投票 0

在Azure数据工厂中获取管道运行时间戳

如何在DataFactory中获取以下值:上次触发管道的时间触发管道的当前启动时间

回答 1 投票 0

“获取元数据”活动中的“ Azure ADF-ContentMD5”字段始终为空

如果我在azure blob存储中手动上载txt或csv文件,则在使用获取元数据活动时,我总是得到“ contentMD5”:null,而输出的其他字段总是被填充。我也是...

回答 1 投票 0

使用数据工厂从SAP提取到Data Lake Gen2的数据

我想知道从SAP BW提取数据(一张表)到Azure数据湖gen2的过程。 SAP也在Azure云上。我想使用ADF将数据从SAP BW复制到Data Lake。我们可以连接...

回答 1 投票 0

Azure Data Factory:数据生命周期管理和清理陈旧数据

我正在努力降低数据存储成本。它包括以下任务:基于文件的最后修改权限,能够从文件共享和Blob存储中删除文件...

回答 1 投票 0

Azure Data Factory v2中的子字符串

我正在尝试查找字符串的子字符串作为ADF中活动的一部分。举例来说,我想从字符串“ abcde”中提取出“ de”。我试过了:@substring(variables('...

回答 1 投票 0

如何为adf管道获取静态ip

我在Azure中有一个工作流/管道,它可以连接到第三方FTP(通过链接服务)并定期获取文件。一切正常,直到第三方介绍了IP的白名单,然后...

回答 1 投票 0

为“复制行为”选择“合并文件”以使ADF中的文件名失真

我不熟悉Azure数据工厂,并且遇到了一个问题,在我的ADF管道的“接收器”部分中,如果我将“合并文件”指定为“复制行为”,则我的输出文件名会失真... 。

回答 1 投票 0

增加Azure数据工厂中的并发性

我们有一个父管道,该管道获取表列表并将其馈入ForEach。然后在ForEach内,我们调用传递一些配置的另一个管道,该子管道将数据移动到...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.