Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。
如何使用Powershell执行非交互式MFA登录Azure订阅
以前,我可以使用以下代码通过powershell登录azure订阅。 $ azureAccountName =“username”$ azurePassword = ConvertTo-SecureString“Password”-AsPlainText -Force $ ...
我正在尝试使用Azure Data Factory从FHIR服务器读取数据,并将结果转换为Azure Blob存储中的换行符分隔的JSON(ndjson)文件。具体来说,如果您查询FHIR ...
在SQL命令和Merge Join中使用Order by / sort优化数百万行的SSIS包
嗨,我正在尝试优化SSIS包,当我执行Upsert / delete时,它从远程MariaDB源中的表中获得了大约9300万行。该表还包含大约63 ...
我目前正在使用数据工厂构建一个Azure数据湖,并且在获得有关多个数据工厂与一个数据工厂的建议之后。我目前有一个数据工厂,即采购数据......
我在Data Factory中安排作业时遇到问题。我正在尝试每小时接近一个预定的工作,这将每小时执行相同的脚本,条件不同。考虑我有一堆......
我有一个'Main'管道调用两个子管道,主管道每次执行时都会成功。 child1和child2管道都在为child1调用复制数据活动...
我在本地开发计算机上配置了自托管集成运行时节点,以连接到Azure中的数据工厂。我现在希望它改为不同的名称,例如“DEV-01-Machine”但不能......
从azure datafactory管道自定义活动运行powershell脚本
是否可以从azure数据工厂管道中运行Powershell脚本作为活动,我有一个UC,我需要将所有处理过的文件从“input”文件夹移动到名为“processed”的文件夹中......
有没有办法将web活动结果放入sql-table(sink)
无法使用azure-data-factory将Web活动的输出转换为sql-table。这就是我所做的以及我陷入困境的地方(步骤3)。步骤:1。从API调用中获取令牌获取...
有没有办法将Data Factory Web活动输出保存到文件或数据库表?
当我连接到oauth 2 rest api时,我在数据工厂遇到了一个问题,我似乎无法找到将web活动输出保存到文件或数据库表的方法,所以其他...
我们有许多工作必须在我们的本地计算机上运行, 但我们希望能够从云中运行和管理这些工作。这些不是计算机管理类型的作业。他们更关注商业-...
如何使用Data Factory截断Dynamics 365实体(并复制到Azure数据湖)?
我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure Data Lake。实体每24小时保存为Data Lake中的CSV文件。我没有批量复制,而是......
我在我的PC上安装了自托管IR,并尝试在我的ADF(SQL Server到Azure SQL DB)管道中使用它。当我运行管道时,它失败并出现以下错误。参数无效,'类型= ...
基于源数据集有效内容的Azure Data Factory动态输出路径
我有一个流分析工作,它不断地将数据转储到Cosmos DB中。有效负载具有属性“Type”,用于确定有效负载本身。即哪些列包含在有效载荷中。它是 ...
如何使用Azure DataFactory管道回填然后将其转换为正在运行的计划?
我有大量的blob包含需要复制到azure sql表中的日志数据,并且会有更多的blob定期到达。 Blob以[...格式命名]
Azure Data Factory从foreach值获取数据
我有一个查找活动,从blob中的容器中获取值。我有一个foreach活动,它连接到查找活动,在设置下它具有值:@activity('...
我将数据存储在blob中,我编写了一个python脚本来进行一些计算并创建另一个csv。如何在Azure Data Factory中执行此操作?
我在COSMOS DB文档中有以下格式。 “Tag”:“SPEEDSTER”,“data”:[{“timestamp”:“2018-09-05T13:55:09.297Z”,“jsonVersion”:1,“......
使用Azure Data Factory v2在内部部署服务器上调用Ruby脚本或可执行文件?
如何使用Azure Data Factory v2(ADF)在内部部署服务器上调用Ruby脚本或可执行文件?在我看来,它属于自定义活动类别,ADF现在支持自定义...
Azure Data Data HTTP端点到CosmosDB错误转换datetime
我有一个HTTP端点返回数据,包括格式的日期时间:“RowInsertDateTime”:“2018-09-10T15:31:21.223”,我有数据工厂管道无法导入此行作为...