azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

如何从Azure Function应用程序中的Data Factory任务接收/访问POST请求和“用户属性”的标头

我还是Azure的新手,所以如果这是一个新手问题,请耐心等待。我在Azure Data Factory中创建了一个任务,该任务将调用Http触发的Python函数(消耗计划)。设置......

回答 1 投票 1

通过Azure数据工厂刷新Power BI数据集

有没有办法通过Azure数据工厂刷新Power BI数据集?我发现有一个REST API(https://powerbi.microsoft.com/en-us/blog/announcing-data-refresh-apis-in-the-power-bi -...

回答 2 投票 0

如何从ASP.NET Core应用程序查询Azure Analysis Service中的数据?

我有一个云应用程序,它将所有数据转储到Azure Data Lake中。使用Azure Data Factory,我构建了一个管道,用于从湖中提取和转换数据并将其保存在...

回答 1 投票 0

如何使用python创建一个azure datafactory资源文件夹?

是否可以使用python在数据工厂中创建带有管道的文件夹?正在阅读本教程:数据工厂教程它创建一个管道只有一个复制活动我可以创建一个文件夹...

回答 1 投票 0

数据转换的工具建议

我在Power BI中有大量原始故障数据。代码时间状态x123 2019-04-22T23:57:00 ok x123 2019-04-23T01:00:00故障x123 2019-04-23T02:00:00 ...

回答 1 投票 0

无法将类型'string'隐式转换为'Microsoft.Azure.Management.DataFactory.Models.SecretBase'

我正在使用.NET和Azure Data Factory的SqlServerLinkedService开发ETL解决方案,作为从内部SQL Server到Azure的数据移动的一部分。我无法设置密码属性,因为...

回答 2 投票 2

创建Azure数据工厂集成运行时(如果它不存在) - Azure PowerShell

我已经在Azure门户中创建了Azure数据工厂集成运行时,现在想要通过PowerShell脚本创建$ IR = Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName“...

回答 2 投票 0

尝试获取输出消息时出现ADF错误

执行时我得到了以下错误。错误{“errorCode”:“BadRequest”,“message”:“活动parent-control-sp失败:JSON文本格式不正确。意外字符'\”'是......

回答 1 投票 0

Azure Data Factory v2 - 从镶木地板复制到SQL DB的错误年份

我对Azure Data Factory v2有一个奇怪的问题。有一个Spark Job正在运行并生成镶木地板文件作为输出,ADFv2复制活动然后采取输出镶木地板并复制...

回答 2 投票 2

如何使用Azure数据工厂动态获取表(sql server数据仓库)中的所有json文件表数据(从ADF加载到DWH)

我必须将所有json文件数据放入从azure数据工厂到sql server数据仓库的表中。我能够将数据加载到具有静态值的表中(通过在数据集中给出列名)...

回答 1 投票 0

需要通过IR连接ADF和BigQuery

我想通过IR连接Azure数据工厂和Google Big查询,需要什么值以及如何从Big Query访问数据

回答 1 投票 0

需要将csv源数据插入Azure SQL数据库

我在csv中有一个源数据。我创建了一个sql表来插入csv数据。我的sql表中有主键列和外键列。在Data中映射时我不能跳过这两列...

回答 1 投票 0

无法加密子资源有效负载,错误是:无法在自托管IR上加密链接服务凭据

我正在使用.NET,Azure Data Factory开发ETL解决方案,以将数据从内部部署的Sql Server移动到Azure。自托管IR正确设置并在Azure门户上运行但是当我运行代码时...

回答 1 投票 -1

如何在Azure Data Factory V2中执行异常处理

如果某些管道或活动失败,我可以在Azure数据工厂中应用异常处理吗?如何通过某些TRY / CATCH方法实现异常处理?

回答 2 投票 0

Azure Data Factory v2未显示在Visual Studio 2015中的服务器资源管理器或云资源管理器中

我在Azure订阅中有一个数据工厂(版本2)和一堆其他资源,并使用Visual Studio 2015登录到该订阅。当我打开服务器资源管理器或云时......

回答 1 投票 0

在Lookup @ Azure Data Factory中处理> 5000行

我有一个复制活动,它将表从MySQL复制到Azure表存储。这非常有效。但是,当我在Azure表上执行查找时,我收到错误消息。 (太多的数据)这是设计参考...

回答 1 投票 0

如何使用Powershell执行非交互式MFA登录Azure订阅

以前,我可以使用以下代码通过powershell登录azure订阅。 $ azureAccountName =“username”$ azurePassword = ConvertTo-SecureString“Password”-AsPlainText -Force $ ...

回答 3 投票 2

使用ADF REST连接器读取和转换FHIR数据

我正在尝试使用Azure Data Factory从FHIR服务器读取数据,并将结果转换为Azure Blob存储中的换行符分隔的JSON(ndjson)文件。具体来说,如果您查询FHIR ...

回答 2 投票 1

在SQL命令和Merge Join中使用Order by / sort优化数百万行的SSIS包

嗨,我正在尝试优化SSIS包,当我执行Upsert / delete时,它从远程MariaDB源中的表中获得了大约9300万行。该表还包含大约63 ...

回答 1 投票 3

Azure数据工厂与工厂

我目前正在使用数据工厂构建一个Azure数据湖,并且在获得有关多个数据工厂与一个数据工厂的建议之后。我目前有一个数据工厂,即采购数据......

回答 4 投票 3

© www.soinside.com 2019 - 2024. All rights reserved.