azure-data-factory-2 相关问题

Microsoft Azure的云数据集成服务,它可以将数据存储,移动和处理服务组合成自动数据管道。它可以连接到各种来源,而不仅仅是Azure。其版本2具有更多图形工具和SDK,与之前的版本相比,提供了更简单的用户体验。

未通过Powershell为type = AzureSqlMITable创建数据集

问题:尝试通过Powershell分析创建ADF组件(例如AzureSQLMITDataset)时在ADF上出现错误:在BuildServer(通过DevOps运行)上以及在Windows本地都可再现错误...

回答 1 投票 0

通过Azure函数调用使用输出(JSON)调用ADFv2中的存储过程。传递类型,而不是JSON字符串?

我正在ADFv2中创建一个管道,该管道调用输出JSON的Azure函数。然后,我将该JSON传递到存储过程Activity中,但是该存储过程没有获取JSON文本,而是...

回答 1 投票 0

我想使用Azure数据工厂从Google信息中心获取数据

我想从Google信息中心获取数据,然后使用Azure数据工厂将其加载到Azure数据仓库。我有什么方法可以使用天蓝色数据将数据加载到数据仓库中吗...

回答 1 投票 0

我们如何在datafactory中创建通用映射数据流,以从具有不同模式的不同表中动态提取数据?

我正在尝试创建对所有表通用的azure datafactory映射数据流。我将传递表名,用于连接目的的主列以及在groupBy中使用的其他列...

回答 1 投票 1

Azure数据工厂和数据流需要太多时间来处理从暂存到数据库的数据

因此,我有一个每天运行的数据工厂,它从oracle本地数据库中选择大约80M条记录的数据,并将其移至Parquet文件,这大约需要2个小时才能加快速度...

回答 3 投票 1

为什么要使用Polybase时要使用Azure数据工厂

我们的要求是从Blob存储中获取数据并转换为其他表格形式。这可以通过使用polybase的Sql DW实现。在这种情况下,Azure数据工厂的真正作用是什么?我...

回答 1 投票 1

如何处理ADF v2中并行复制活动中的故障?

我正在计划遍历连接字符串列表,以将数据从一个源并行插入到多个接收器。因此,我将抽象复制活动并参数化连接字符串...

回答 1 投票 1

使用Azure数据工厂下载动态生成的文件

我正在尝试从URL下载文件。 https://example.com/report_view.php?reportcode=59281&action=exportcsv&casino=2210&reportby=daily&datetype=1上面的URL生成一个...

回答 1 投票 0

主管道中的Adfv2参考子管道变量

我有一个在Azure Data Factory v2中执行另一个管道的管道。在执行的(子)管道中,我为要在主管道中返回的变量分配一个值,这可能吗? ...

回答 1 投票 0

在ADFv2中创建每日到每月触发依赖项>>

我有一个滚动窗口触发器trg-Daily,其开始日期边界为12:00 AM,并且每24小时执行一次(频率为Hour,间隔为24)。因此,基本上,它执行日常工作。 ...

回答 1 投票 0

将一个管道运行的输出传递并用作另一管道的参数

我的ADF设置当前工作的方式是,我有多个管道,每个管道包含至少一个活动。然后,我有一个大型管道,将这些管道链接在一起。但是,现在...

回答 1 投票 1

在接收器中成形json数据

如何使用数据工厂/数据流将这两个流合并为单个JSON输出?我有两个数据流。流1(csv):123,alex,03/18/1985流2(csv):123,蓝色,新123,紫色,...

回答 1 投票 0

在Data Factory中使管道失败的最简单方法?

我有一个具有if条件的数据工厂管道,我希望该管道在特定条件下失败。实现此目标的最佳方法是什么?没有失败活动。.

回答 1 投票 0

在Azure数据工厂中更新Azure表存储字段

我在Azure数据工厂中有一条管道。该管道包括3个活动。 1.查找--->从表存储中获取内容2. Web活动->调用REST端点(从结果中传递参数...

回答 2 投票 0

[ADF v2-网络活动-无法检索POST输出

使用Azure Data Factory v2,我使用POST方法创建了Web活动,并获得了所需的响应输出。但是在下一个活动中无法从输出响应中获取行数据。我如何...

回答 2 投票 0

我在DevOps生产部署中遇到问题-无法编辑或替换部署

直到昨天早上,我已经能够在发布管道中部署Data Factory v2的更改。然后在昨晚的部署过程中,我收到了一个错误,该错误说明该连接被强制关闭。现在当我...

回答 1 投票 -1

在长期运行的蔚蓝数据工厂管道上放置警报的方法

我有一些数据工厂管道,当将数据从Blob复制到SQL时,有时可能会花费2个小时以上。时间段是可变的,但是我希望在任何管道运行时得到通知/提醒...

回答 2 投票 1

带有接收器Datalake的Azure数据工厂复制数据架构映射

我有一个简单的管道,带有copydata。我正在尝试将数据从sql拉到数据湖。我创建了两个数据集,一个用于sql,另一个用于datalake。数据湖架构在数据集中定义为...

回答 1 投票 1

如何在数据工厂中提供databricks文件路径

在此处输入图像描述我正在使用存储过程来检索笔记本路径,然后使用数据工厂来执行该Databricks笔记本,但是出现消息错误:“”无效的笔记本路径:{\“ ...

回答 2 投票 0

如何将JSON传递到Azure Data Factory V2中具有嵌入式动态内容的Azure函数中

在ADFv2中,我正在查找日期并将其传递给Azure函数。我可以像这样传递数据:@activity('GetLastDateProcessed')。output.firstRow.LastDateProcessed但是,如果我嵌入此...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.