azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

Azure 数据工厂:当源(Blob - csv)和目标(SQL DB)是海量数据集(不同数据类型〜370列,〜7M行)时如何使用Exists

我在 Azure 数据工厂中有一个场景,我需要将 Blob 存储中的每日 CSV 文件与 SQL 数据库中的表进行比较。目标是仅在以下情况下将行从 CSV 复制到 SQL 表:

回答 1 投票 0

如何将 Azure 数据工厂连接到不同 VNET 上的对等网络

我正在尝试在一个 VNET 上的 Azure 数据工厂与另一个 VNET 上的资源(特别是 SQLDB)之间创建对等虚拟网络。我正在尝试遵循指南 这里 https://learn.microsof...

回答 2 投票 0

数据工厂Cosmso数据复制到其他cosmos

我使用 Cosmos 作为源,使用数据流复制到其他 Cosmos 帐户,但它更改了时间戳 (_ts)。 尝试检查(包括系统栏)

回答 1 投票 0

在 SQL Server 中使用 OPENJSON 解析 JSON 对象

我正在尝试在 ADF 管道的脚本活动中使用 OPENJSON 解析 JSON 对象。但我遇到了以下错误。 JSON 路径格式不正确。在位置发现意外字符“s”...

回答 1 投票 0

Azure 数据工厂无法正确处理带有转义字符的分隔文件

我正在尝试使用 Azure 数据工厂从 SAP ECC 加载文件,因此我有一个数据流和一个执行所述数据流的管道。一切都很顺利,直到我尝试将文件加载到 SQL S 中...

回答 1 投票 0

Azure 成本管理 - 跟踪与 Databricks 作业相关的成本

我有一个 Azure 数据工厂管道,它使用作业集群运行多个 Databricks Notebook。 我想在成本管理面板中跟踪这些作业集群的成本。 我感兴趣的...

回答 1 投票 0

使用 ADF 将带有换行符的 CSV 读入 SQL DB

我有一个 CSV 文件的数据转储,每天都会下载到一个 blob 中。 该文件包含 ID、日期等列以及注释字段。 在注释字段中,经常使用换行符。这个

回答 2 投票 0

Microsoft Fabric - 仅更新插入 ETL(忽略删除)

我正在探索 Fabric 作为数据仓库解决方案。第一步,我想从应用程序数据库复制源表。对于某些表,我想要一个不删除、只删除的 ETL

回答 1 投票 0

如何在变量中创建连接数组以用于查找活动输出,并在 foreach 循环中迭代

Image我正在读取一个有超过5000条记录的SQL表。由于查找活动不支持超过 5000 条记录。我必须创建一个 foreach 循环,它将基于

回答 1 投票 0

Azure 数据工厂查找对数据进行排序

如何在Azure数据工厂中的查找中对数据进行排序 - 带时间戳的管道? 无需任何逻辑应用程序、功能或数据流即可进行排序的解决方案。 我有 10 个具有不同时间戳的文件,我需要...

回答 1 投票 0

Azure 集成运行时错误 Azure 数据工厂

有一个特殊的问题。已创建连接到本地 SQL 服务器的集成运行时。拥有两名用户,一名具有读取访问权限,另一名具有开发人员访问权限。两个用户都曾经共同...

回答 1 投票 0

如何在Azure数据工厂中连接外部FTP服务器?

尝试创建连接到外部 FTP 服务器的链接服务时发生“FtpFiledToConnectToFtpServer”错误。 这个Azure是公司环境,使用私有网络...

回答 1 投票 0

从数据湖到 SQL 池的 Parquet 文件 - 将tinyint 转换为 TINYINT 的算术溢出

我们尝试将 parquet 文件从数据湖导入到 Azure 专用 SQL 池,但随机出现错误。 错误是: HadoopSqlException:转换tinyint t时出现算术溢出错误...

回答 1 投票 0

根据通配符文件名复制文件;从 SFTP 到 Blob 存储 - Azure 数据工厂 - 复制活动

我在 SFTP 服务器上有一个文件列表,我想将其中一些文件复制并移动到 blob 存储容器。文件名应与通配符匹配:(SCUST_TXT)[0-9]*(-)[0-9]*(-)[0-9]...

回答 1 投票 0

ADF 内部联接返回的行数少于预期

我有一个非常简单的内部联接,将存储中的 Excel 文件连接到数据库中的视图。连接是基于两个数据集中都存在的引用。然而还没有结果。 ...的架构

回答 1 投票 0

Azure 数据工厂抛出“调用 Azure 函数失败,并出现 HttpStatusCode - InternalServerError。”

我在尝试通过数据工厂调用azure函数时收到此错误。附有错误快照。 然后我再次尝试使用相同的参数,以及下一个执行实例...

回答 1 投票 0

Azure 复制活动问题

我的项目使用 Maria DB 作为本地源系统,它通过自托管集成运行时与 ADF 连接。我只想将 MariaDB 的 100 个表中的必填字段复制到 Data Lake,但我...

回答 1 投票 0

尝试将输出直接输出到专用 SQL 池中的表时出现数据流接收器排序错误

我尝试从存储帐户容器中的 2 个 csv 文件加载数据,加入它们,选择列并将结果输出到 DedicatedSQLPool 中的表,但出现以下错误: 没有

回答 1 投票 0

在 Azure 数据工厂中使用变量将 string 类型转换为 int 类型

如何使用变量在 ADF 中将 string 类型转换为 int 类型,我必须在执行复制活动之前验证行计数

回答 1 投票 0

如何将源存储帐户的所有容器作为容器中的文件夹复制到目标存储帐户?

场景:我的源存储帐户中有大量 Blob 容器。 应将它们复制到目标存储帐户,但以不同的方式,即 描述: 所有源容器都...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.