azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

如果 adf Web 活动中的计数很大,如何获取完整的表格列表?

我们的表存储帐户中有 18,000 个表。 我创建了一个 Web 活动来列出存储帐户中的表: Web 活动 - 列表表 网址:@concat('https://stccatuks001.blob.core.

回答 1 投票 0

Azure ADF:重新运行活动时丢失管道变量的值

在 ADF 中,我有一个演示管道,其中包含三个活动和一个名为parentRunId 的管道变量: 管道变量 第一个活动是“设置变量”活动并生成 UUID ...

回答 1 投票 0

从 Azure 数据工厂执行 MySQL 过程

我想从 Azure 数据工厂“调用”MySql (Azure) 过程。我可以使用 ADF 中的 SQL Server 过程,但不能使用 MySQL 过程。 如何才能做到这一点,还有其他服务可以...

回答 3 投票 0

Graph APIskiptoken 未获得下一个结果

我正在从 Azure 数据工厂对 Microsoft Graph API 进行 Post 调用 身份验证正在工作,我也得到了结果,但是我无法使分页工作,我一直得到相同的

回答 1 投票 0

如何阻止 Azure 数据工厂(Web 活动)处理重定向?

我有一个 API (TalkDesk),当我请求特定报告时,我需要在请求中传递授权标头,然后服务将生成报告并以 302 状态响应...

回答 1 投票 0

Azure 数据工厂 - 使用多个列删除一个文件上的重复行

在Azure数据工厂数据流中,我有一个包含4列的文件,我想使用数据流转换删除所有重复的行 例子 名字、姓氏、电子邮件、电话 史蒂文、金、史蒂文...

回答 1 投票 0

我有一组 CSV 文件登陆到 BLOB 存储中,我需要将它们转换为 parquet 格式为单个文件

如何将当前位于 Azure BLOB 存储中的多个 .csv 文件转换为 Parquet 格式,再将另一个 BLOB 转换为单个文件,我需要合并 csv 文件,因为所有文件都有类似的

回答 1 投票 0

复杂的验证迭代过程来检查 ADF 中的记录数

Snowflake 迁移项目 - Teradata -> 提取文件 -> ADLS(BLOB) -> 通过 ADF 的 Snowflake。 提取的文件被批量放置在一些 XYZ 容器中(每个容器都有一定数量的文件...

回答 1 投票 0

使用 ADF 来自 SQL 表的 Json 文件正在添加转义字符

我尝试通过存储过程使用 ADF 从 SQL 表创建 json 文件 存储过程: 选择 ( 选择 * 来自 [dbo].[TEST_TABLE] 对于 JSON 路径,包括_NULL_VALUES ) 作为 json_file; 我是...

回答 1 投票 0

处理动态内容问题的 SQL 错误行

我在尝试在 Synapse 数据流中配置动态内容以根据工作区环境有选择地应用错误处理策略时遇到困难。我正在努力

回答 2 投票 0

ADF 中的 Couchbase 连接器

您好,我们使用 JSON 格式的凭证字符串: [{"user": "JSmith", "pass":"access123"}, {"user": "Admin", "pass":"

回答 2 投票 0

发送到 Azure ML 服务的操作“submitMLPipelineRun”的请求失败,http 状态代码为“Forbidden”

在数据工厂中触发管道以触发 Azure 机器学习中的管道,但失败并收到此错误: 发送到 Azure ML 服务以执行“submitMLPipelineRun”操作的请求失败...

回答 1 投票 0

如何使用adf复制数据管道一次执行多个表

来自以下问题的解决方案:复制数据活动在接收器数据集中动态输入表名称时失败 如何修改管道以一次复制多个表......

回答 1 投票 0

在订阅之间复制文件共享数据 - 这里目标订阅位于虚拟网络中

我忘了提这个问题的关键点: 如何在存储帐户的订阅之间复制文件共享数据 - 描述中给出的场景 这里是目标订阅存储

回答 1 投票 0

无法获取在同一租户中的两个不同订阅之间执行 ADF 中的 Blob 容器复制数据活动的正确步骤

如何在存储帐户的订阅之间复制文件共享数据 - 描述中给出的场景 使用与上述问题相同的解决方案,我尝试为 blob cont 实现...

回答 1 投票 0

有没有一种方法可以在不使用数据流的情况下展平 Azure 数据工厂中的嵌套 JSON?

我使用 Azure 数据工厂复制语句来获取 API 的输出作为 JSON 文件,并将数据放入突触数据仓库中。 JSON 的布局类似于下面添加的 JSON,你...

回答 1 投票 0

Azure 数据工厂中的多线程同步性质

对于可能令人困惑的标题,我深表歉意,但我有一个困境,当我是一名 Java 软件开发人员时,我知道如何解决,但在 Azure 数据工厂工作时需要帮助。 我有一个...

回答 1 投票 0

检查 SQL 表是否包含 Azure 数据工厂中的值

我需要检查特定的SQL数据库表是否包含变量currentID。 目前,我正在运行一项查找活动(名称 - GlobalIDs)来查询 SQL 表并检索数据。 输出...

回答 1 投票 0

如何在Databricks中实现像ADF一样的列映射

如您所见,这是 ADF 中复制活动中数据类型的常规列映射,我们可以在其中将数据类型、列名称等从源更改为目标。 如果我想在数据库中进行相同的设置...

回答 1 投票 0

Azure 数据工厂中用于多个 SAP 表的自定义远程功能 SAP 连接器

我正在尝试连接 ADF 中的多个 SAP 表。我有一个带有数据集的 SAP 表连接器,但我无法用它连接多个表。它适用于单个表,没有任何错误......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.