Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。
我的 ADF 解决方案中有一个数据集设置,它指向 blob 容器。此容器中有 25 个 CSV 文件。 我在 ADF 中有一个数据流设置,当前指向每个 .CSV 文件
我尝试使用查找函数查找 .csv 文件中的日期字段,然后使用 ADF 管道中的 setvariable 函数查找。但是,我调试管道时由于小数点而收到错误
我有数据,其中有一列名为类别。类别是椅子和桌子。 但问题是我想对桌子、椅子和另外两个类别的碗和盘子进行计数...
使用 adf 中的复制活动将文件归档到带有时间戳的 adf 中
我的要求是使用复制活动将基于通配符的特定文件从数据湖中的容器/文件夹复制到azure数据库,然后将文件复制到时间戳为...的不同文件夹中
在 Azure ADF 中处理 .CSV 文件(忽略文件名中的尾部日期)
我在 Azure 中设置了 ADF 包。我使用 ADF 中的数据集设置连接到 25 个文件。有 25 个连接,每个 .CSV 文件有 1 个连接(.CSV 文件将包括...
如何使用复制数据从 .sql 增量文件对 MySQL 数据库执行 sql 插入和更新?
我有一个数据库增量文件(.sql),它包含 sql 语句,例如 Insets、Delete、Update。数据库是使用表和数据设置的,我只是尝试执行这些更新 我是...
如果嵌套数组只有一个值,则不会从 ADF 中的 XML 文件插入数据
我有一个任务,要将多个 XML 文件插入到表中。 我已成功在 ADF 中设置了一条运行良好的管道。但现在我发现有几个文件没有插入......
数据工厂 -> 转换数据 -> 数据流过滤过去 24 小时内修改的行
我根据 Data Lake G2 中存储的一些位置/设施数据构建房间邮箱。我已经设置了数据工厂并创建了链接服务等......并且可以在预览中查看数据。 我现在想要
我在同一 Azure 资源组下设置了新的 Azure SQl 和 Azure 数据工厂资源。 但是,我无法从 Azure 数据工厂连接到 Azure SQL。我能够在我的
如何在同一个 SQL DB 但两个不同的表中参数化数据流源 1 和源 2
我正在构建一个数据流管道,它将调用控制流管道。 我试图实现的解决方案是对两个主表实施模糊逻辑以查找相关匹配。 如图所示...
将多个文件从 blob 存储增量复制到 Azure SQL 数据库
我在将多个文件从 Blob 存储增量复制到 Azure SQL 数据库时遇到问题。我只想在完全加载后将最近的文件复制到数据库中
我需要使用 ARM 模板参数定义文件来参数化 Azure 数据工厂中特定 SQL Server 存储过程活动和复制活动的超时值,因此
如何将所有 JSON 行封装在 ADF 中的一个 JSON 列中
嗨,我从 odbc 连接获取 csv 格式的数据,然后使用 json 数据集将其复制到 Blob 它看起来像这样,而不是实际数据,它将有超过 20K 行 {...
我有这个要求,在我的Azure数据工厂管道中有一个过滤器活动,我需要检查文件名是否与特定模式匹配。 例如:>文件应该是 cs...
我有一个复杂的管道,其中多个任务并行运行。 在执行这样的管道期间,如果它在某个时刻失败,我是否能够从失败的步骤重新运行管道(没有
如何将一个数据库中的表读取到 Synapse 管道中不同数据库上运行的查询中?
有 2 个数据库,例如数据库 A 和数据库 B。我有一个在数据库 A 上运行的查询,现在我需要连接到驻留在数据库 B 中的表(约 20 行)并根据
有关我的表中不存在的索引的 Azure 数据工厂复制活动错误
我使用 azure 的时间并不长,正在学习 ADF 的工作原理。我正在尝试在管道中运行复制活动节点,该节点将允许我从 excel csv 文件(源)写入数据,该文件是...
如何使用 ADF Web Activity 在 POST 正文中发送表单数据
我最近从事一项任务,必须使用 ADF 从 API 中提取数据。 API 使用不记名令牌进行身份验证并使用表单数据生成令牌。该 API 需要用户名和
如何在 Azure 数据工厂中批量处理数据库增量 sql 文件以更新 MySQL 数据库
我有一个数据库增量 .sql 文件,其中包含对 MySql 数据库中表的更新。我知道数据工厂可以执行 sql 语句,我可以解析 .sql 文件,将 csv 分割为 delim...
Azure Synapse - 使用 API 请求正文时数据流失败
我使用了“复制数据”活动和以下请求正文: { "query": "query RoomStays($first: Int!, $from: Date!, $to: Date!, $after: String) { 房间住宿( 第一:...