azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

如何使用Powershell执行非交互式MFA登录Azure订阅

以前,我可以使用以下代码通过powershell登录azure订阅。 $ azureAccountName =“username”$ azurePassword = ConvertTo-SecureString“Password”-AsPlainText -Force $ ...

回答 3 投票 2

使用ADF REST连接器读取和转换FHIR数据

我正在尝试使用Azure Data Factory从FHIR服务器读取数据,并将结果转换为Azure Blob存储中的换行符分隔的JSON(ndjson)文件。具体来说,如果您查询FHIR ...

回答 2 投票 1

在SQL命令和Merge Join中使用Order by / sort优化数百万行的SSIS包

嗨,我正在尝试优化SSIS包,当我执行Upsert / delete时,它从远程MariaDB源中的表中获得了大约9300万行。该表还包含大约63 ...

回答 1 投票 3

Azure数据工厂与工厂

我目前正在使用数据工厂构建一个Azure数据湖,并且在获得有关多个数据工厂与一个数据工厂的建议之后。我目前有一个数据工厂,即采购数据......

回答 4 投票 3

虚拟文件集列和行集变量U-SQL

我在Data Factory中安排作业时遇到问题。我正在尝试每小时接近一个预定的工作,这将每小时执行相同的脚本,条件不同。考虑我有一堆......

回答 3 投票 3

从另一个管道调用时,调用的管道不会失败

我有一个'Main'管道调用两个子管道,主管道每次执行时都会成功。 child1和child2管道都在为child1调用复制数据活动...

回答 2 投票 0

如何重命名自托管集成运行时节点

我在本地开发计算机上配置了自托管集成运行时节点,以连接到Azure中的数据工厂。我现在希望它改为不同的名称,例如“DEV-01-Machine”但不能......

回答 1 投票 1

从azure datafactory管道自定义活动运行powershell脚本

是否可以从azure数据工厂管道中运行Powershell脚本作为活动,我有一个UC,我需要将所有处理过的文件从“input”文件夹移动到名为“processed”的文件夹中......

回答 1 投票 2

有没有办法将web活动结果放入sql-table(sink)

无法使用azure-data-factory将Web活动的输出转换为sql-table。这就是我所做的以及我陷入困境的地方(步骤3)。步骤:1。从API调用中获取令牌获取...

回答 1 投票 0

有没有办法将Data Factory Web活动输出保存到文件或数据库表?

当我连接到oauth 2 rest api时,我在数据工厂遇到了一个问题,我似乎无法找到将web活动输出保存到文件或数据库表的方法,所以其他...

回答 2 投票 0

Azure是否可以触发本地脚本以按计划运行?

我们有许多工作必须在我们的本地计算机上运行, 但我们希望能够从云中运行和管理这些工作。这些不是计算机管理类型的作业。他们更关注商业-...

回答 1 投票 0

如何使用Data Factory截断Dynamics 365实体(并复制到Azure数据湖)?

我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure Data Lake。实体每24小时保存为Data Lake中的CSV文件。我没有批量复制,而是......

回答 2 投票 1

为ADF v1配置自托管集成运行时

我在我的PC上安装了自托管IR,并尝试在我的ADF(SQL Server到Azure SQL DB)管道中使用它。当我运行管道时,它失败并出现以下错误。参数无效,'类型= ...

回答 1 投票 0

基于源数据集有效内容的Azure Data Factory动态输出路径

我有一个流分析工作,它不断地将数据转储到Cosmos DB中。有效负载具有属性“Type”,用于确定有效负载本身。即哪些列包含在有效载荷中。它是 ...

回答 1 投票 2

如何使用Azure DataFactory管道回填然后将其转换为正在运行的计划?

我有大量的blob包含需要复制到azure sql表中的日志数据,并且会有更多的blob定期到达。 Blob以[...格式命名]

回答 1 投票 2

Azure Data Factory从foreach值获取数据

我有一个查找活动,从blob中的容器中获取值。我有一个foreach活动,它连接到查找活动,在设置下它具有值:@activity('...

回答 1 投票 6

在Azure DataFactory中执行python脚本

我将数据存储在blob中,我编写了一个python脚本来进行一些计算并创建另一个csv。如何在Azure Data Factory中执行此操作?

回答 2 投票 2

使用ADF时在cosmos DB内部序列化阵列

我在COSMOS DB文档中有以下格式。 “Tag”:“SPEEDSTER”,“data”:[{“timestamp”:“2018-09-05T13:55:09.297Z”,“jsonVersion”:1,“......

回答 2 投票 1

使用Azure Data Factory v2在内部部署服务器上调用Ruby脚本或可执行文件?

如何使用Azure Data Factory v2(ADF)在内部部署服务器上调用Ruby脚本或可执行文件?在我看来,它属于自定义活动类别,ADF现在支持自定义...

回答 1 投票 0

Azure Data Data HTTP端点到CosmosDB错误转换datetime

我有一个HTTP端点返回数据,包括格式的日期时间:“RowInsertDateTime”:“2018-09-10T15:31:21.223”,我有数据工厂管道无法导入此行作为...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.