azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

Azure 数据工厂-如何将数据从保存查找表中的值的 setvariable 活动馈送到 foreach 活动?

我有下面的查找表,它返回下面的表格列表。 { “计数”:2, “价值” : [ { “名称”:“表1” }, {“NAME”:“表2”...

回答 1 投票 0

本地 FTP 服务器文件夹迁移到 Azure datalake

我正在尝试将位于 FTP 服务器上的本地压缩文件夹迁移到 Azure datalake V2。这些文件夹每天都会在 FTP 服务器中创建。要求是增量迁移

回答 1 投票 0

Azure 数据工厂 - 从 Dynamics CRM 源以纯文本形式读取 XML 列

我正在尝试从 Azure 数据工厂数据流中的 Dynamics CRM 读取表,其中一列包含 XML 元素。我不想解析此专栏,而是将其作为纯文本阅读。直到n...

回答 1 投票 0

DF 能够将整数 YYYYMMDD 与字符串 YYYY-MM-DD 进行比较

我创建了一个数据工厂管道流程,用于将日常文件从 sftp 移动到 blob 存储。它使用 get Metadata 活动来获取文件列表。 r/AZURE - DF 能够比较整数 YYYYMMDD...

回答 1 投票 0

ADF映射数据流只插入,从不更新

我有一个只会插入的 ADF 数据流。它从不更新行。 下面是流程的屏幕截图,以及设置插入/更新策略的更改行任务。 数据流 更改行任务 那...

回答 2 投票 0

如何在 Synapse 复制活动中从 $$FILEPATH 中提取文件名?

$$FILEPATH 这里给了我像'folder/sub/sub1/filename.ext'这样的值 我只想始终提取 filename.ext 。我可以在复制活动本身中执行此操作吗? 我目前使用存储过程来完成......

回答 1 投票 0

Azure 数据工厂数据流 CosmosDB 接收器“写入吞吐量预算”什么都不做

我在这里看到了与此问题几乎相同的行为,我无法发表评论,因为我没有足够的声誉。我有一个正在使用 Cosmos 的 API,并且我有一个每日批处理作业需要

回答 1 投票 0

ADF 复制活动错误代码=UserErrorSchemaMappingCannotInferSinkColumnType

我在复制活动期间在 ADF 中收到以下错误: 错误代码 = UserErrorSchemaMappingCannotInferSinkColumnType,'类型 = Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,消息 =...

回答 1 投票 0

追加每次迭代生成的字符串值,无需追加变量或数组变量

我有 ADF 管道,其中参数设置了多个逗号分隔值。我有每个循环迭代这些参数值并为每个循环设置变量活动...

回答 1 投票 0

我可以使用 Azure 数据工厂将 Graph API 中的 Base64 编码字节转回文件吗?

我遇到了 Microsoft Graph API 和 Azure 数据工厂的问题。 我正在调用 Graph API 以从收件箱中获取电子邮件文件附件。这将返回文件内容(以字节为单位)。为了...

回答 1 投票 0

建立本地 SQL Server 与 Azure 数据工厂的连接时出错

我创建了一个自托管集成运行时,它可以在我的机器上完美运行。然后我创建了一个复制活动。我为其创建了一个需要链接服务的数据集。我输入了所有凭据...

回答 2 投票 0

在接收器数据集中动态输入表名称时复制数据活动失败

根据这篇 MS 文章,我创建了以下步骤: 步骤 1:添加带有两个参数的新管道,名称分别为 sourceSAS 和 destinationSAS,并将其 SAS 令牌作为值 圣...

回答 1 投票 0

microstratgy api 调用

我正在尝试使用 adf 运行 MicroStrategy api 并发现将令牌传递到 webactivity 中的未来步骤的问题。 我有两个网络活动,一个可以让我获得令牌,另一个可以让我获得

回答 1 投票 0

Azure 数据工厂 - 复制活动引用复制的内容

我在 ADF 中创建了一个管道,它具有复制活动,将数据从 SQL Server 复制到 REST 端点。我无法控制 REST 端点,数据只是发布在那里。 来源

回答 1 投票 0

我想在突触三角洲湖中实现黄金层,该怎么做

我们已经实现了具有 Delta Lake 机制的 Synapse 直到白银,我想实现黄金层,现在不明白如何做到这一点,我们正在使用 Azure 服务器较少的 sql 黄金层模型如何...

回答 1 投票 0

第三方正在调用我们的 API,这会触发逻辑应用程序。我们如何处理逻辑应用程序中 SQL 存储过程生成的 JSON 文件的分页?

第三方正在使用Azure数据工厂来处理API调用的结果。由于 ADF 的文件大小限制为 4MB,因此如果逻辑应用生成的输出 JSON 文件为

回答 1 投票 0

Azure 数据工厂/开发运营。 ARM 模板参数中的空格覆盖

我有一个数据工厂,我正在尝试使用 Dev Ops 进行部署。发布管道使用 ARM 模板部署步骤。当我单击编辑覆盖模板参数按钮时,我得到一些

回答 1 投票 0

发布天蓝色管道时出现发布错误

我在协作分支中创建了一个天蓝色数据工厂管道,管道成功,我正在尝试发布管道,但出现一个错误。发现无效的引用或依赖项。这是李...

回答 1 投票 0

如何通过PowerShell脚本检索所有Azure数据工厂?

我有一个巨大的 Azure 数据工厂园区,我想详细了解它。 为此,我有以下 PowerShell 脚本: # 连接到 Azure 帐户 连接-AzAccount # 显示标题...

回答 2 投票 0

在 Azure 数据工厂中解压缩

我有一个大小为32GB的zip文件。我需要将其导入数据湖存储服务帐户。我正在尝试解压文件并通过 Azure 数据工厂移动该文件。 Zip 文件已上传...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.