azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

使用databricks解析csv数据

有一个csv文件,内容如下(分割符为\u0001) 尝试以表格形式读取: 从读取文件中选择*( '{csv_file_path}', 格式=>'csv', 标题=>假, 九月=>“\u0001”...

回答 1 投票 0

数据工厂 - 如何解压缩受密码保护的文件而无需外部代码

我有一个正在运行的管道,其中有一个复制数据活动,该活动解压缩我在其中提供文件路径的文件。当遇到受密码保护的 zip 文件时,该过程将失败。 我是

回答 1 投票 0

是否有一种快速方法可以找出较大的 azure blob csv 文件的行分隔符?

我正在使用 Azure 数据工厂。我正在尝试使用复制数据任务。我将行分隔符设置为 但是当我转到映射选项卡并导入架构时,出现错误 “导入源失败

回答 1 投票 0

如果我有一个base64字符串,但我不知道它是jpg、png、pdf还是其他什么,我该如何将其转换为有效文件?

我正在尝试从 Dynamics CRM 获取电子邮件附件,并希望以其原始格式保存文件。 当我尝试从 CRM 电子邮件实体获取信息时,我得到一个 Base64 字符串作为内容...

回答 1 投票 0

使用 RBAC(基于角色的访问控制)从 Azure 数据工厂访问 Key Vault 机密

我正在 Azure 数据工厂中设置管道,并希望使用 RBAC(基于角色的访问控制)访问存储在 Azure Key Vault 中的机密。 我发现这三个教程都涵盖了

回答 1 投票 0

是否可以在映射数据流中维护文件夹结构和接收器文件?

我需要在映射数据流中一次处理多个文件,但需要在同步时维护源文件夹结构。 换句话说,结构 年=yyyy/月=mm/日=dd/文件 一定是

回答 2 投票 0

Azure 数据工厂:加载重复数据

在 Azure 数据工厂中,如果我们再次收到与上次加载相同的源 CSV 数据以将数据加载到 Target 中,会怎样? 下面是情况。 我在 Blob 存储中收到了一个 CSV 文件,名称为 data_2023_04_2...

回答 1 投票 0

Endpoint 不支持 BlobStorageEvents 或软删除异常

在尝试执行数据预览或调试管道时,我收到以下错误,指出“端点不支持 blobstorage 事件或软删除” 我不想禁用软d...

回答 2 投票 0

错误请求 - 空消息 - ADF 中的错误为空 - 复制数据管道

延续我之前的一个问题: 我创建了 ADF 管道,用于在存储帐户之间复制 Blob 容器及其内部数据,如下所示: 对于每个活动设置...

回答 1 投票 0

Azure-data-factory 使用 tenure 参数创建管道

如何创建一个归档管道,该管道只有 1 个名为“tenure”的参数,它将过去 3 年的数据从“Source”文件夹复制到另一个文件夹“Archiv...”

回答 1 投票 0

如何在 PowerBI (Fabric) 管道变量活动中格式化 JSON 的变量输出

我正在 PowerBI 中创建一个 Fabric Pipeline,它查询 Azure Data Explorer (ADX) 表并返回包含数千行的单列(使用查找步骤)。然后管道进行查找

回答 1 投票 0

在azure数据工厂中执行数据检查

我有一个 ADF 管道,它从本地源读取数据并将其复制到 azure 中的数据集。 我想执行一些数据检查: 如果数据包含我需要的特征 如果...

回答 5 投票 0

Azure 数据工厂 - 生成自定义 Guid 并复制到 SQL 表

我需要为表中的每一行生成一个唯一的 Guid,其中仅包含数字且长度为 20。 目前,我正在运行一项查找活动(名称 - FetchIDs)来运行存储过程。

回答 2 投票 0

无法编辑突触中的现有数据工厂

我有一个突触工作区,其中有多个带有数据工厂的管道。今天我注意到正常运行的现有数据工厂在编辑它们时无法看到详细信息 我攻击...

回答 1 投票 0

如何使用 Azure 数据工厂在 Blob 存储中保存输出错误

我在 Azure 数据工厂管道中有一个 Web 活动,我需要将请求正文错误保存在 Blob 存储内的文件(txt、csv ...)中,有什么方法可以做到这一点?已经尝试了 azure 功能...

回答 1 投票 0

如何从 adf webhook 活动将输入参数传递到 azure python3 runbook

我想将参数从 azure 数据工厂管道 webhook 活动传递到我的 azure 自动化 python runbook。 我该怎么做?

回答 2 投票 0

将多个文件(200 个文件)从存储获取到 Azure 数据工厂中的另一个存储

我知道我可以获取“复制活动”中的所有文件或过滤掉多条记录。但是如何从存储中的一百万个文件中筛选出前 200 个文件以传输到另一个存储进行测试......

回答 1 投票 0

在 Azure 数据工厂中,当 False 条件完成时停止管道运行

我希望 Azure 数据工厂管道在 False 条件语句完成时停止运行,但当此 False 条件成功时,它会继续执行其他步骤。我不...

回答 1 投票 0


数据工厂使用 ADF 中的 Post 方法和正文设置具有 KeyVault 值的变量

在 ADF 管道中使用 post 方法,在正文中我有类似 grant_type=client_credentials&client_id=xxxxxxxx&client_secret=xxxxxxxxx&resource=xxxxxxxxx.net 我必须创建一个变量...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.