azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

将 json 文件内容从 ADLS 中的目录传递到存储过程

我在ADLS中有一个目录,其中有100个json文件。我想列出所有 json 文件,并使用 adf 将每个文件中的 JSON 数据传递到存储过程。我该怎么做?我会解析内容...

回答 1 投票 0

如何使用 Azure 数据工厂 Web 活动运行 powershell 命令

我正在尝试运行 PowerShell 命令来在 Azure VM 中创建数据库的 BACPAC 备份,有谁知道如何通过 Web 活动将该命令传递到 VM? 连接是...

回答 2 投票 0

如何将 WebActivity 输出写入 ADF 中的 Kusto 表

我的网络活动的输出是一个json文件。 我想将整个 json 转储到单列 kusto 表中。 (可能会在 azure 数据工厂管道中执行 .set-or-replace)。 所以,我的管道有一个网络

回答 1 投票 0

Azure 数据工厂 - CosmosDb 托管身份连接 - 遇到超时(408 错误代码)

在 Azure 数据工厂中,我最近将使用连接字符串的 CosmosDb 连接移动到使用带有 RBAC 的托管标识(Cosmos DB 内置数据读取器角色)。 然而,我注意到...

回答 1 投票 0

Azure 数据工厂 - 无法计算表达式,因为属性“firstrow”不存在

我的 ADF 管道中有一个步骤失败并出现以下错误: 对目标 LastRun 的操作失败:表达式 'formatDateTime(activity('Last Run').output.firstRow.lastdate, 'yyyy-MM...

回答 1 投票 0

使用 HTTP 从 Azure 数据工厂下载文件并将其存储在文件存储上

我是Azure数据工厂的新手,我已经按照在线教程学习了如何将数据从api下载到ADF并存储zip文件。但是,当我运行管道时,我收到这些错误 呃...

回答 1 投票 0

ADF REST API 活动中的分页规则错误

大家好,我是这个 ADF 管道的新手,需要您帮助如何设置分页规则。 https://learn.microsoft.com/en-us/azure/data-factory/connector-rest?tabs=data-factory#pagination-supp...

回答 1 投票 0

ADF 调度以停止重叠管道

我正在尝试创建一个每 15 分钟运行一次的管道,但我想避免管道重叠,这样在它花费的时间超过预期 15 分钟的情况下,我们就有了一个后退......

回答 1 投票 0

如何将数据从本地 Oracle 数据库流式传输到 ADLS Gen2?

我有这样的要求,我需要将 XML BLOB 从本地 Oracle 数据库流式传输到 ADLS Gen2 BLOB 容器。我能够获得一个自托管虚拟机,安装集成运行时和 JRE,

回答 1 投票 0

使用复制任务时,ADF csv 文件作为输出不起作用

我正在使用复制任务,然后删除以模拟 mov 任务,因为 ADF 中没有。我有一个 .CSV 作为源,但是当我将其复制为 .csv 时,如果我保留默认设置,则该作业不起作用...

回答 1 投票 0

如何确保从 ADF 中删除的旧参数也从 ARM 模板部署任务覆盖参数列表中删除

我们正在部署ADF,如下所示: 问题是 - 即使某些模板参数已从 ADF 中删除,当我们单击(3 点

回答 1 投票 0

如何在Azure数据复制活动中编写过滤器表达式

我在 Azure 数据工厂管道中有一个过滤器,我需要在运算符中编写条件表达式以匹配所有文件格式。但“in”运算符不是常规函数。 项目: @

回答 1 投票 0

Azure Data Bricks Widget 值初始化首次执行问题

我正在尝试将数据库名称和架构详细信息从 ADF 管道传递到 azure databricks 笔记本以使用我的创建和删除表,但如果我第一次尝试运行所有数据砖脚本。我是

回答 1 投票 0

Azure 数据工厂 - 忽略目标中的重复项?

我正在从 Sql 数据库检索数据并希望插入到 Azure 表存储中。 但是,我想确保我不会重复将数据插入表存储中。 我怎样才能实现这个目标

回答 1 投票 0

ADF Web Activity 可以用于进行 Rest API 调用并带来大尺寸数据

大家好,我是 ADF Activity 的新手,如果我通过使用 Web Activity 将大量数据引入我的数据目标来正确设计,我需要您的意见和帮助。我尝试使用网络活动我...

回答 1 投票 0

执行输出长度超出限制(目前约为4MB)

使用azure a=数据工厂在webactivity中调用Rest Api。该活动失败并显示错误“执行输出的长度超出限制(当前约为 4MB)”。有什么解决办法吗??

回答 2 投票 0

数据工厂 - 返回压缩 (gzip) 字符串的 Web 活动。输出无法使用

我们一直在使用数据工厂中的 Web 活动,通过 API 调用触发从源系统中提取 csv 数据。该项目已成功运行近一年。 现在看来

回答 2 投票 0

如何使用 ADF Dataflow 聚合 JSON?

我第一次使用 ADF 从 CSV 中获取数据并在 JSON 中详细说明它们 我的结构如下: |父亲|日期|记录1 |记录2 |...|记录n | |父亲|日期2|记录1A|记录2...

回答 1 投票 0

在 Azure 数据工厂中使用 OAuth2 客户端凭据身份验证

我需要进行 REST API 调用来获取数据。 这些是 OAuth 身份验证类型所需的详细信息 我有所有字段的值: “OAuth配置”:{ “范围&...

回答 1 投票 0

ADF 如何检索复制活动 Salesforce API 2.0 中更新插入期间发送的 SOQL 查询语句

我正在复制活动中处理 ADF,将数千条记录发送到 Salesforce Sandbox。我遇到错误,需要检索在更新插入期间发送的 SOQL 查询语句。有没有...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.