azure-data-factory-2 相关问题

Microsoft Azure的云数据集成服务,它可以将数据存储,移动和处理服务组合成自动数据管道。它可以连接到各种来源,而不仅仅是Azure。其版本2具有更多图形工具和SDK,与之前的版本相比,提供了更简单的用户体验。

循环浏览一个列表,并获取列表中的每个值。

我在ADLS中有一个文件夹,里面的文件很少。为了便于理解,我就简单介绍一下。我有以下三个文件。当我循环浏览这个文件夹时,我想得到 "文件名"......。

回答 1 投票 0

使用脚本任务,利用表名和日期的变量从表中删除记录。

我有一个数据流,从一个API读取记录。然后,它将这些记录插入SQL Azure数据库中的一个表中。问题是,源数据没有主键。源数据 ...

回答 1 投票 0

只显示字符串格式数据的表格存储

我使用ADF管道将数据从数据湖复制到blob存储,再从blob存储复制到表存储。如你所见,以下是ADF Sink中的列类型(整数、字符串、时间戳):。

回答 1 投票 0

如何验证Azure数据工厂中的传入文件?

有没有办法创建一个模板来验证传入的文件,包括空文件检查、格式、数据类型、记录计数等检查,如果有任何检查失败,就会停止工作流......。

回答 1 投票 0

Azure数据工厂的 "Set_Variabe "数组和 "FOR_EACH "exe_pipelines活动。

我有一个 "Set_Variable",在值字段中包含一个 "Array",这个 "Array "中包含了 "For_each "活动所需要的3个参数,而 "For_each "活动中包含了一个"..."。

回答 1 投票 0

Azure数据工厂--管道、数据集、容器、链接服务。

有谁知道我应该如何配置 "Dataset "来读取Blob容器的所有内容,并且能够执行每个容器的复制活动?我想使用 "GetMetada",但是 ...

回答 1 投票 0

在.NET SDK中,将表格存储中的数据从字符串转换为其他格式。

有没有办法在.NET SDK中把表存储中的数据从字符串格式转换为inttimestamp格式?我使用ADF管道将数据从数据湖复制到blob存储中,再从blob存储中 ...

回答 1 投票 1

创建从6:00到20:00运行的ADF时间表。

我已经为ADF IR建立了一个包。很好。我为它感到骄傲。现在我想在06:00和20:00之间每小时调度一次。我在ADF中没有看到这样的调度方式。我现在所做的是安排 ...

回答 1 投票 0

通过 Azure 数据工厂调用 API

我需要通过调用REST API来获取参数值。我需要从数据库中获取参数值,如何从数据库中传递参数?我如何从数据库中传递参数。

回答 1 投票 -1

如何使用 Azure 数据工厂在雪花表中实现 scd2?

我想在snowflake表中实现scd2。我的源表和目标表只存在于snowflake中。整个过程必须使用Azure数据工厂来完成。我通过...

回答 1 投票 0

ADF中数据工厂的定义是什么?

Azure Data Factory 中数据工厂的定义是什么?在我的研究中,准确的定义被证明是难以捉摸的。这个术语经常被抛来抛去,但我找不到它被明确钉死的实例。

回答 1 投票 0

Azure 映射数据流中的参数化负载。

我正试图使用 Azure Data Factory 和 Mapping 数据流创建数据仓库负载。当我试图下沉我的数据时,我遇到了一个问题。我正在使用以下映射数据流 My ...

回答 1 投票 0

在数据工厂中解析json key:value。

我有一个汇率API输出这样的。我想得到一个数组,通过另一个管道作为参数进行迭代。然而我的努力一直没有结果。我想...

回答 1 投票 0

当使用 azure 数据工厂运行 azure 批处理服务时,pip install 启动任务失败。

参考自< https:/docs.microsoft.comen-usazurebatchtutorial-run-python-batch-azure-data-factory#prerequisites> 我试图通过azure batch使用azure data-factory运行python脚本......

回答 0 投票 0

Azure-data-Factory复制数据,如果存在某个文件

我在Blob容器中有很多文件。但是我只想在blob容器上存在某个文件(例如SRManifest.csv)的情况下运行存储过程。我在...

回答 1 投票 0

CosmosToBlobCopyActivity的ADFv1到ADFv2迁移

我正在将ADFv1下的某些管道迁移到ADFv2。我发现有一个活动为CosmosToBlobCopyActivity类型的管道。这不是CosmosDB,而是Cosmos结构流数据。什么是...

回答 1 投票 0

如何在Azure Data Factory v2中执行SQL脚本(SQL Dacpac文件)?

我需要在Azure SQL数据库中创建SQL表,然后将数据从Blob存储中的CSV文件加载到那些表中。该表需要创建,然后在...

回答 1 投票 0

如何使用Azure Data Factory更新Snowflake中的表

我在雪花中有两个表,分别为table1和table2。表1是包含增量数据的源表,表2是目标表。所以我的用例是我必须从table1和...

回答 1 投票 0

Azure数据工厂-每个人的内部活动均失败

我已经使用了查找活动将值传递给每个迭代活动。 Lookup的输出值是从SQL表生成的。一旦迭代开始,则活动之一...

回答 1 投票 0

在ADF中自动创建SQL目标表

我是Data Factory的新手。我想将数据从REST API复制到SQL Server表中。有没有一种方法可以根据API调用自动创建具有数据类型的SQL表?我不想做...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.