azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

启动触发器管道时触发器不断失败

我是 ADF 新手,我最终创建了一个管道,其中有 2 个数据流。 我测试了管道,一切正常,直到我启动触发器! 启动触发器后,我开始记录...

回答 1 投票 0

ADF 查找查询创建架构并选择

我正在尝试在 ADF 查找活动中运行创建 Shema/表查询,最后进行虚拟选择。 创建架构 [schemax] 授权 [auth1]; 选择 0 作为虚拟值 但我得到了以下e...

回答 2 投票 0

映射数据流通用数据模型源连接器日期时间/时间戳列无效?

我们使用 Azure 数据工厂映射数据流从通用数据模型 (model.json) 中读取。 我们使用动态模式——其中实体被参数化,我们不投影任何列,我们有

回答 2 投票 0

sha2(256,columns())) 在 ADF 中计算安全吗?

我正在尝试计算 Azure 数据工厂中某些列的哈希值。我在其他问题中看到了使用 sha2(256,columns())) 等函数的建议。乍一看这似乎很安全,但我已经......

回答 1 投票 0

datafactory API JSON 无法识别更改对象

在datafactory中,我尝试从API写入JSON中的blobstorage,但是导入模式时出现问题。 我的 JSON 返回输出中有一个对象,有时如下所示: ”

回答 1 投票 0

使用 Azure 数据工厂处理 zip 文件

在数据湖中 我正在寻找有关如何处理包含单个.zip 文件的信息。 不确定我是否可以直接将 zip 文件内的内容处理到 Azure 数据库而不解压缩

回答 2 投票 0

Azure 数据工厂中的更改计数如何计算 - 更改数据捕获

随着 ADF 中变更数据捕获的发布,随之而来的是各种问题。我尝试了同样的操作,并遇到了各种场景。 实现了从源到目标的多个表,其中...

回答 1 投票 0

使用databricks解析csv数据

有一个csv文件,内容如下(分割符为\u0001) 尝试以表格形式读取: 从读取文件中选择*( '{csv_file_path}', 格式=>'csv', 标题=>假, 九月=>“\u0001”...

回答 1 投票 0

数据工厂 - 如何解压缩受密码保护的文件而无需外部代码

我有一个正在运行的管道,其中有一个复制数据活动,该活动解压缩我在其中提供文件路径的文件。当遇到受密码保护的 zip 文件时,该过程将失败。 我是

回答 1 投票 0

是否有一种快速方法可以找出较大的 azure blob csv 文件的行分隔符?

我正在使用 Azure 数据工厂。我正在尝试使用复制数据任务。我将行分隔符设置为 但是当我转到映射选项卡并导入架构时,出现错误 “导入源失败

回答 1 投票 0

如果我有一个base64字符串,但我不知道它是jpg、png、pdf还是其他什么,我该如何将其转换为有效文件?

我正在尝试从 Dynamics CRM 获取电子邮件附件,并希望以其原始格式保存文件。 当我尝试从 CRM 电子邮件实体获取信息时,我得到一个 Base64 字符串作为内容...

回答 1 投票 0

使用 RBAC(基于角色的访问控制)从 Azure 数据工厂访问 Key Vault 机密

我正在 Azure 数据工厂中设置管道,并希望使用 RBAC(基于角色的访问控制)访问存储在 Azure Key Vault 中的机密。 我发现这三个教程都涵盖了

回答 1 投票 0

是否可以在映射数据流中维护文件夹结构和接收器文件?

我需要在映射数据流中一次处理多个文件,但需要在同步时维护源文件夹结构。 换句话说,结构 年=yyyy/月=mm/日=dd/文件 一定是

回答 2 投票 0

Azure 数据工厂:加载重复数据

在 Azure 数据工厂中,如果我们再次收到与上次加载相同的源 CSV 数据以将数据加载到 Target 中,会怎样? 下面是情况。 我在 Blob 存储中收到了一个 CSV 文件,名称为 data_2023_04_2...

回答 1 投票 0

Endpoint 不支持 BlobStorageEvents 或软删除异常

在尝试执行数据预览或调试管道时,我收到以下错误,指出“端点不支持 blobstorage 事件或软删除” 我不想禁用软d...

回答 2 投票 0

错误请求 - 空消息 - ADF 中的错误为空 - 复制数据管道

延续我之前的一个问题: 我创建了 ADF 管道,用于在存储帐户之间复制 Blob 容器及其内部数据,如下所示: 对于每个活动设置...

回答 1 投票 0

Azure-data-factory 使用 tenure 参数创建管道

如何创建一个归档管道,该管道只有 1 个名为“tenure”的参数,它将过去 3 年的数据从“Source”文件夹复制到另一个文件夹“Archiv...”

回答 1 投票 0

如何在 PowerBI (Fabric) 管道变量活动中格式化 JSON 的变量输出

我正在 PowerBI 中创建一个 Fabric Pipeline,它查询 Azure Data Explorer (ADX) 表并返回包含数千行的单列(使用查找步骤)。然后管道进行查找

回答 1 投票 0

在azure数据工厂中执行数据检查

我有一个 ADF 管道,它从本地源读取数据并将其复制到 azure 中的数据集。 我想执行一些数据检查: 如果数据包含我需要的特征 如果...

回答 5 投票 0

Azure 数据工厂 - 生成自定义 Guid 并复制到 SQL 表

我需要为表中的每一行生成一个唯一的 Guid,其中仅包含数字且长度为 20。 目前,我正在运行一项查找活动(名称 - FetchIDs)来运行存储过程。

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.