azure-data-factory-2 相关问题

Microsoft Azure的云数据集成服务,它可以将数据存储,移动和处理服务组合成自动数据管道。它可以连接到各种来源,而不仅仅是Azure。其版本2具有更多图形工具和SDK,与之前的版本相比,提供了更简单的用户体验。

使用 azure data factory v2 每次将一个文件从一个容器复制到另一个容器。

我试图将一个文件从一个容器复制到另一个存储帐户中的另一个容器。

回答 1 投票 1

Azure DevOps 数据工厂 数据集和管道 CICD 参数

我正试图使用 Azure DevOps 为 Azure Data Factory 构建 CICD。我可以设置Pipeline和Release,但我有一个问题:Dataset我有2个环境,DEV和PROD,如何。然而,我有一个问题:Dataset我有2个环境,DEV和PROD,如何... ...

回答 1 投票 0

过滤 Azure 数据工厂(数据流)中的源数据,以获取最新的值。

我的源文件中有以下数据。我想过滤数据,使输出只包含最近日期的数据。例如:DEF有两个值 DEF有两个值2.5,3-Jan和4,4-Jan,我希望行...

回答 1 投票 0

使用.NET sdk获取所有Azure数据工厂管道的运行情况。

如何可以加载所有管道运行从Azure数据工厂使用.NET SDK在一个HTTP查询到工厂?我已经尝试了QueryByFactoryWithHttpMessagesAsync方法,但它只返回100最后......

回答 1 投票 0

Azure数据工厂中的翻滚窗口触发器

我如何在ADF中参数化翻滚窗口触发器,使其在每天的特定时间(上午9点到10点)之间运行。是否可以通过MyWindowStart和MyWindowEnd参数来实现?谢谢,...

回答 1 投票 0

ADF管道和ADF数据流的区别是什么?

ADF Pipeline和ADF Data flow有什么区别?为什么Pipeline和Data flow支持的sinkssources不同?是否可以创建一个从源头读取数据的管道,...

回答 1 投票 0

Azure数据工厂数据流中最便宜的沉淀器

我使用Azure Data Factory从数据湖中读取数据,并将过滤后的数据存储到Cosmos DB(Sql Api)的一个容器中。我使用的是集成运行时-内存优化,4(+4驱动...

回答 1 投票 0


在将数据从ADLS迁移到SQL时,如何在目标SQL数据库表中创建时间戳列(管道内)?

我正在将大量的parquetfiles从ADLS迁移到SQL数据库表中,所以在ForEach中我使用了复制活动,它成功地复制了所有表的数据。

回答 1 投票 0

使用 Azure Data Factory 将数据导出到 csv 文件时,从列中删除额外的逗号。

我的 sql 表中的数据如以下截图所示,在 values 列中的 values 后面多了一个逗号。实际上,它是有更多值的值列表。我必须...

回答 1 投票 0

如何在Azure Data Factory管道上识别在调试模式下工作但在触发时不工作的问题?

在Azure Data Factory上,我有一个使用复制数据活动的参数化管道,源是OData,Sink是on-prem SQL服务器。它们正在用一个自托管的 ...

回答 1 投票 0

用于JSON转换的U-SQL脚本。

我有一个有很多级别的JSON文件,需要在Azure Data Lake Analytics中转换它,以获得从 "vin "级别开始的所有数据(包括)。 被切割的json是:"vehicleStatusResponse"。{ "...

回答 1 投票 1

如何将变量传递给ADF执行管道活动?

环境。我有大约100个管道,它们运行在一些触发器上。结果:我想创建一个主流水线,因为它经常变化,我希望一定要比手动创建更好的方法。我想创建一个主流水线,调用这100个流水线。目前,我已经创建了一个管道列表 ...

回答 1 投票 0

Azure数据工厂从测试升级到开发,认证方式为Azuressql的托管身份,使用的是azure devops CICD。

我使用ADF和认证方法是Managedidentity -- 然后代码被推送到Git hub的adf_publish分支,从那里我们正在建立CICD在azure devops。问题--我用了...

回答 1 投票 1

使用.NET SDK运行&监控ADF管道运行。

我使用 Azure Data Factory UI 创建了一个 ADF 管道,每天触发一次运行。有没有一种方法可以获得最新的管道运行id &使用.NET SDK监控该运行?请提供一个...

回答 1 投票 0

在Azure数据工厂中使用动态值作为表存储的表名。

我有一个ADF管道,使用复制数据活动将数据从blob存储复制到表存储。这个流水线每天在一个触发器上运行一次。我在表存储中提供了一个表名 ...

回答 1 投票 0

Azure数据工厂管道错误代码

我在 Azure 数据工厂中设置了一个相对简单的流程,用于复制、清理和处理来自聊天机器人的一些日志文件,这些日志文件一直运行良好,直到最近我开始获得以下......

回答 1 投票 0

Azure 数据工厂定价 - 活动计数

我想使用Data Factory将数据从Blob存储容器复制到SQL表,但我不太明白定价是如何进行的,具体来说就是活动是如何......

回答 1 投票 0

Azure数据工厂webhook执行超时而不是中继错误。

我已经尝试在Azure Data Factory (v2)中设置一个简单的webhook执行,为我设置的Azure自动化Runbook调用一个简单的(无参数的)webhook。从Azure Portal中,我可以看到 ...

回答 1 投票 0

使用 ADF 如何将大同 DB 的每条记录单独复制为完整的 JSON,并将其复制到 Azure SQL 表的单列中。

使用ADF如何在Azure SQL表中将大同DB的每条记录单独复制为完整的JSON,并将其复制为单列nvarchar(MAX)。

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.