azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

ADF 调度以停止重叠管道

我正在尝试创建一个每 15 分钟运行一次的管道,但我想避免管道重叠,这样在它花费的时间超过预期 15 分钟的情况下,我们就有了一个后退......

回答 1 投票 0

如何将数据从本地 Oracle 数据库流式传输到 ADLS Gen2?

我有这样的要求,我需要将 XML BLOB 从本地 Oracle 数据库流式传输到 ADLS Gen2 BLOB 容器。我能够获得一个自托管虚拟机,安装集成运行时和 JRE,

回答 1 投票 0

使用复制任务时,ADF csv 文件作为输出不起作用

我正在使用复制任务,然后删除以模拟 mov 任务,因为 ADF 中没有。我有一个 .CSV 作为源,但是当我将其复制为 .csv 时,如果我保留默认设置,则该作业不起作用...

回答 1 投票 0

如何确保从 ADF 中删除的旧参数也从 ARM 模板部署任务覆盖参数列表中删除

我们正在部署ADF,如下所示: 问题是 - 即使某些模板参数已从 ADF 中删除,当我们单击(3 点

回答 1 投票 0

如何在Azure数据复制活动中编写过滤器表达式

我在 Azure 数据工厂管道中有一个过滤器,我需要在运算符中编写条件表达式以匹配所有文件格式。但“in”运算符不是常规函数。 项目: @

回答 1 投票 0

Azure Data Bricks Widget 值初始化首次执行问题

我正在尝试将数据库名称和架构详细信息从 ADF 管道传递到 azure databricks 笔记本以使用我的创建和删除表,但如果我第一次尝试运行所有数据砖脚本。我是

回答 1 投票 0

Azure 数据工厂 - 忽略目标中的重复项?

我正在从 Sql 数据库检索数据并希望插入到 Azure 表存储中。 但是,我想确保我不会重复将数据插入表存储中。 我怎样才能实现这个目标

回答 1 投票 0

ADF Web Activity 可以用于进行 Rest API 调用并带来大尺寸数据

大家好,我是 ADF Activity 的新手,如果我通过使用 Web Activity 将大量数据引入我的数据目标来正确设计,我需要您的意见和帮助。我尝试使用网络活动我...

回答 1 投票 0

执行输出长度超出限制(目前约为4MB)

使用azure a=数据工厂在webactivity中调用Rest Api。该活动失败并显示错误“执行输出的长度超出限制(当前约为 4MB)”。有什么解决办法吗??

回答 2 投票 0

数据工厂 - 返回压缩 (gzip) 字符串的 Web 活动。输出无法使用

我们一直在使用数据工厂中的 Web 活动,通过 API 调用触发从源系统中提取 csv 数据。该项目已成功运行近一年。 现在看来

回答 2 投票 0

如何使用 ADF Dataflow 聚合 JSON?

我第一次使用 ADF 从 CSV 中获取数据并在 JSON 中详细说明它们 我的结构如下: |父亲|日期|记录1 |记录2 |...|记录n | |父亲|日期2|记录1A|记录2...

回答 1 投票 0

在 Azure 数据工厂中使用 OAuth2 客户端凭据身份验证

我需要进行 REST API 调用来获取数据。 这些是 OAuth 身份验证类型所需的详细信息 我有所有字段的值: “OAuth配置”:{ “范围&...

回答 1 投票 0

ADF 如何检索复制活动 Salesforce API 2.0 中更新插入期间发送的 SOQL 查询语句

我正在复制活动中处理 ADF,将数千条记录发送到 Salesforce Sandbox。我遇到错误,需要检索在更新插入期间发送的 SOQL 查询语句。有没有...

回答 1 投票 0

将 Azure 数据工厂集成与本地 SSAS 多维数据集连接

我一直在努力寻找一种简单的解决方案来将 Azure 数据工厂或 Fabric 连接到本地 SSAS 多维数据集。我进行了广泛的搜索, 但我遇到的只是关于 conn 的指南...

回答 2 投票 0

在 Git 文件夹中组织 Azure 数据工厂对象

Azure 数据工厂支持在 ADF Studio 中将其对象(管道、数据集等)组织到文件夹中。 当 ADF 连接到 Git 存储库时,所有 ADF 对象都会移至 git 中

回答 2 投票 0

如何将 Flowlet 配置为 Azure 数据工厂 DataFlow 中的源

尝试创建新的 Azure 数据工厂数据流时,提供的选项之一是选择“Flowlet”作为数据流的源。然而,当我尝试这样做时,Flowlet...

回答 1 投票 0

Azure 数据工厂 - 使用分页映射数据流

我使用 REST Api 作为传入数据的来源,URL 采用这种形式 https:///endPoint?per_page=50&page= 回应没有提及...

回答 1 投票 0

Azure 数据工厂中 ADF IF 条件中的字符串转换

嗨,我正在从 set 活动(整数变量)中取出,并且我在 if 条件活动中使用相同的内容。但是我遇到以下错误,请帮助如何解决此问题。 表情我是...

回答 1 投票 0

如何从Azure数据工厂中附加变量的嵌套数组中提取名称

这是我的json文件内容 我希望所有文件名都在一个数组中,因为我需要将这些文件与不同位置中存在的其他文件进行比较。但我失败了,我试图传递 obj 值...

回答 1 投票 0

Azure 数据工厂 - 函数 if 不接受 4 个参数

如果项目名称包含“_”并且这些项目名称以特定架构名称开头,我将尝试拆分项目名称 项目 = ['test_tabl','Schema1__mytable1', 'Schema2__mytable2'] @concat('S...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.