Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。
Azure 数据工厂-如何将数据从保存查找表中的值的 setvariable 活动馈送到 foreach 活动?
我有下面的查找表,它返回下面的表格列表。 { “计数”:2, “价值” : [ { “名称”:“表1” }, {“NAME”:“表2”...
本地 FTP 服务器文件夹迁移到 Azure datalake
我正在尝试将位于 FTP 服务器上的本地压缩文件夹迁移到 Azure datalake V2。这些文件夹每天都会在 FTP 服务器中创建。要求是增量迁移
Azure 数据工厂 - 从 Dynamics CRM 源以纯文本形式读取 XML 列
我正在尝试从 Azure 数据工厂数据流中的 Dynamics CRM 读取表,其中一列包含 XML 元素。我不想解析此专栏,而是将其作为纯文本阅读。直到n...
DF 能够将整数 YYYYMMDD 与字符串 YYYY-MM-DD 进行比较
我创建了一个数据工厂管道流程,用于将日常文件从 sftp 移动到 blob 存储。它使用 get Metadata 活动来获取文件列表。 r/AZURE - DF 能够比较整数 YYYYMMDD...
我有一个只会插入的 ADF 数据流。它从不更新行。 下面是流程的屏幕截图,以及设置插入/更新策略的更改行任务。 数据流 更改行任务 那...
如何在 Synapse 复制活动中从 $$FILEPATH 中提取文件名?
$$FILEPATH 这里给了我像'folder/sub/sub1/filename.ext'这样的值 我只想始终提取 filename.ext 。我可以在复制活动本身中执行此操作吗? 我目前使用存储过程来完成......
Azure 数据工厂数据流 CosmosDB 接收器“写入吞吐量预算”什么都不做
我在这里看到了与此问题几乎相同的行为,我无法发表评论,因为我没有足够的声誉。我有一个正在使用 Cosmos 的 API,并且我有一个每日批处理作业需要
ADF 复制活动错误代码=UserErrorSchemaMappingCannotInferSinkColumnType
我在复制活动期间在 ADF 中收到以下错误: 错误代码 = UserErrorSchemaMappingCannotInferSinkColumnType,'类型 = Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,消息 =...
我有 ADF 管道,其中参数设置了多个逗号分隔值。我有每个循环迭代这些参数值并为每个循环设置变量活动...
我可以使用 Azure 数据工厂将 Graph API 中的 Base64 编码字节转回文件吗?
我遇到了 Microsoft Graph API 和 Azure 数据工厂的问题。 我正在调用 Graph API 以从收件箱中获取电子邮件文件附件。这将返回文件内容(以字节为单位)。为了...
建立本地 SQL Server 与 Azure 数据工厂的连接时出错
我创建了一个自托管集成运行时,它可以在我的机器上完美运行。然后我创建了一个复制活动。我为其创建了一个需要链接服务的数据集。我输入了所有凭据...
根据这篇 MS 文章,我创建了以下步骤: 步骤 1:添加带有两个参数的新管道,名称分别为 sourceSAS 和 destinationSAS,并将其 SAS 令牌作为值 圣...
我正在尝试使用 adf 运行 MicroStrategy api 并发现将令牌传递到 webactivity 中的未来步骤的问题。 我有两个网络活动,一个可以让我获得令牌,另一个可以让我获得
我在 ADF 中创建了一个管道,它具有复制活动,将数据从 SQL Server 复制到 REST 端点。我无法控制 REST 端点,数据只是发布在那里。 来源
我们已经实现了具有 Delta Lake 机制的 Synapse 直到白银,我想实现黄金层,现在不明白如何做到这一点,我们正在使用 Azure 服务器较少的 sql 黄金层模型如何...
第三方正在调用我们的 API,这会触发逻辑应用程序。我们如何处理逻辑应用程序中 SQL 存储过程生成的 JSON 文件的分页?
第三方正在使用Azure数据工厂来处理API调用的结果。由于 ADF 的文件大小限制为 4MB,因此如果逻辑应用生成的输出 JSON 文件为
Azure 数据工厂/开发运营。 ARM 模板参数中的空格覆盖
我有一个数据工厂,我正在尝试使用 Dev Ops 进行部署。发布管道使用 ARM 模板部署步骤。当我单击编辑覆盖模板参数按钮时,我得到一些
我在协作分支中创建了一个天蓝色数据工厂管道,管道成功,我正在尝试发布管道,但出现一个错误。发现无效的引用或依赖项。这是李...
如何通过PowerShell脚本检索所有Azure数据工厂?
我有一个巨大的 Azure 数据工厂园区,我想详细了解它。 为此,我有以下 PowerShell 脚本: # 连接到 Azure 帐户 连接-AzAccount # 显示标题...
我有一个大小为32GB的zip文件。我需要将其导入数据湖存储服务帐户。我正在尝试解压文件并通过 Azure 数据工厂移动该文件。 Zip 文件已上传...