azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

根据 Azure 数据工厂中的文件夹结构和日期条件复制文件

我的文件夹结构如下: 斑点名称 折叠1 2024年 01 02 03 依此类推直到 12 2023年 01 02 03 依此类推直到 12 折叠2 2024年 ...

回答 1 投票 0

如何使用派生列转换更改 csv 文件中的日期列。该列的值在“MM/dd/yyyy”中,有些在“MM-dd-yyyy”中

我想保留那套制服,如“MM/dd/yyyy” iifNull(toDate(toString({雇用日期}), 'MM/dd/yyyy'), toDate(toString({雇用日期}), 'MM-dd-yyyy')) 我写了这个表达式,但我收到了一条错误消息...

回答 1 投票 0

为具有多个项目管道的一个 ADF 环境设置 CI/CD

我有一个 ADF 环境,我在其中为 2 个独立项目开发和测试管道。 ADF 管道的分支也相同。现在我正处于为两个项目设置 CI/CD 管道的阶段......

回答 1 投票 0

如何在使用带有 GET 方法的 Web 活动时动态传递管道的 runid

我想从同一 ADF 实例中的不同管道获取 ADF 中特定管道的运行状态。 我正在使用带有 GET 方法的网络活动,但问题是每次我......

回答 2 投票 0

使用 ADF,如何根据变量标头值提取特定行?

我有一个 CSV 文件(如果你可以这样称呼它的话),如下所示: 客户数据,,,,, 开始日期: 2021年2月26日 结束日期: 2022年2月26日,,,,, 自定义 ID:BLAH-BLAH,,,,, ,,,,,, 列 1,列 2,,,, 1、asdfasdf,,,, {

回答 1 投票 0

如何从 SAP CDC 链接服务动态选择给定列?

在 Azure 数据工厂中,我有一个动态管道,可以从 SAP 系统中提取数据。每个给定表(大约 2000 个)的元数据是通过查找提取的,从中我得到了 na...

回答 1 投票 0

根据通配符在源处复制文件名,以便使用 Azure 数据工厂传输到接收器中的单独文件夹

我希望配置 ADF 作业以使用复制功能从源容器传输 .txt 文件,并将它们传输到各自文件夹中的 ADLS 接收器容器。 例如: 所以...

回答 1 投票 0

Azure 数据工厂 - 初始加载 SQL Server,然后加载 CDC

我有一个任务,需要使用 ADF 将 2 年的数据从表加载到数据湖,然后继续使用 CDC。 我是 ADF 新手,想知道如何实现这一目标,因为 CDC 已经在桌面上了……

回答 1 投票 0

ADF 管道架构和并行复制活动的参数化

我需要实现并行复制活动管道,我想知道它的架构。总而言之,我将进行 3 个从旧数据库到数据湖的复制活动,以及两个从共享点的复制活动。是不是好id...

回答 1 投票 0

如何用多级SQL语句编写ADF动态表达式

我正在尝试为过滤器活动编写 ADF 动态内容,其中我需要过滤文件,其名称中包含日期,来自通过多个条件获取元数据活动。我正在写一个 SQL q...

回答 1 投票 0

本地 SQL Server 连接与 Azure 数据工厂错误

虚拟机使用VPN连接到SQL Server,我已经用Windows 11虚拟机VM1 ip完成了SQL Server ip的端口转发。 SQL Server ip:1433 ====>> VM1 ip:1433 netsh 接口

回答 1 投票 0

ADF 发布失败 - 发现无效引用或依赖项

我正在创建 ADF 管道,每当我发布管道更改时,我都会不断收到此错误 - 发现无效的引用或依赖项。这可能是由于发布...

回答 1 投票 0

如何从数据库中管道的动态复制数据活动中的所有表中删除一列

我需要使用 ADF 中的复制数据活动从管道中的所有表中删除名为“EXT_DATA”的列。由于它是动态管道,我无法直接从 mappin 中删除该列...

回答 1 投票 0

ADF 中使用变量的 Salesforce SOQL

我尝试使用数据流的输出(以逗号分隔的 ID 字符串),然后设置为变量,并将该变量传递到 SOQL 查询 IN 子句中。但是,SOQL 子句不会接受...

回答 1 投票 0

Azure 数据工厂 - 如何在数据流活动中使用管道参数来筛选结果

我有以下问题。我已经创建了 ADF 管道。它由多项活动组成。其中之一是数据流活动。我将管道参数传递给数据流活动(称为

回答 1 投票 0

ADF 脚本使用 Snowflake 中的 INFER_SCHEMA 创建 Parquet 格式的表

我正在尝试使用 ADF 将数据从 salesforce 复制到 Snowflake,避免使用 SAS 令牌,因为我打算在 Snowflake 上使用 Integratiopn Storage。 我正在尝试遵循这个示例:https://medi...

回答 1 投票 0

如何使用 ADF 管道中的数据流活动仅获取从源到接收器端的更新记录

我正在尝试创建一个管道,用于将数据从源复制到接收器,有 3 列,我只想从源表中更新记录。 使用数据流转换和 Alter row using alter row

回答 1 投票 0

通过 Azure 数据工厂管道更新 Azure Vault 中的机密

我一直按照此处和此处概述的步骤将 Xero 连接到 Azure 数据工厂。我无法更新保管库中的刷新令牌和访问令牌。 我已经设置了我的网络活动...

回答 1 投票 0

复制活动失败并出现以下错误

{ “错误代码”:“2200”, “消息”:“ErrorCode = FailedDbOperation,'类型= Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,消息= A 数据库操作失败,并显示以下内容

回答 4 投票 0

Azure Synapse 中的翻转窗口触发器是否会自动知道自上次运行以来已生成或修改了哪些数据?

在Azure中使用翻滚窗口触发器时,翻滚窗口是否只拾取自上次运行以来生成或修改的数据,还是每次都执行完整的数据加载,我们必须...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.