azure-data-factory 相关问题

Microsoft Azure Data Factory是一种云服务,用于使用时间片的概念以受控方式调用(编排)其他Azure服务。数据工厂主要使用手工制作的JSON开发,这为工具提供了执行哪些活动的说明。虽然仍处于预览阶段,但Azure Data Factory V2的引入可以使用api而不仅仅是JSON文件提供更轻松的数据集成体验。

无法在 Azure 数据工厂中运行自定义批处理服务 - 用户配置问题错误代码 2500

当我在 Azure 数据工厂管道中运行自定义服务时,出现以下错误: {"errorCategory":0,"code":"FailureExitCode","message":"任务退出并显示

回答 1 投票 0

在每个产品内订购

我想优先考虑每个product_id 中的sub_product。 产品编号 子产品 类别 10101010 02020202 优越的 10101010 02020204 高价值 0120202 0930303 高价值 0120202 039303

回答 1 投票 0

如何以递归方式将文件复制到展平的接收器文件夹,其文件名生成为由 ADF 管道中的分隔符分隔的源文件夹名称

我们需要使用 azure 数据工厂将文件从具有特定文件夹层次结构(3 级和 4 级 - 两种层次结构类型)的一个 Azure 存储帐户复制到另一个存储...

回答 1 投票 0

表格将进入文件夹而不是 Fabric Lakehouse 中的表格

我使用Azure数据工厂来提取Fabric Lakehouse内的表,我从AWS S3和SQL Server进行了提取,它工作正常。 当我尝试从 Azure Database for Postgre 提取数据时...

回答 1 投票 0

如何使用azure数据工厂链接服务连接到VPN

我有一个客户不想在他们的 SQL Server 中安装 SHIR,因此该客户向我提供了 VPN 连接的访问权限和以下信息: 知识产权 SQL端口 用户名 密码 有什么我可以...

回答 1 投票 0

将 CSV 文件数据作为输入传递到 API

我在 ADLS 中有一个 CSV 文件,其中包含序列号,10 000 个序列号。我有一个应该调用 API 的网络活动。要使用 API,我必须传递 id、秘密、代码和序列号列表...

回答 1 投票 0

在 ForEach 内执行 ADF 管道

我有一个连接到 SFTP 的管道,然后使用 ForEach 活动迭代文件并将它们放入我的 Azure Blob 存储中。 在 ForEach 内部,我需要执行另一个管道...

回答 1 投票 0

仅复制 2024 年 4 月 19 日创建的表 ---> (20240419/20240419)

使用 Azure 数据工厂, 使用 SQL 查询创建管道 --->在查找查询中: 从 sys.tables 中选择名称、格式(create_date,'yyyyMMdd')创建日期,其中cast(create_date as date)='2024-0...

回答 1 投票 0

Azure 数据工厂表达式用于区分 null 和空 '' 字符串

我有一个查找活动,它从动态查询返回第一行,该查询通过参数传递到 ADF 管道。 大多数使用的查询如下: 选择 max(id) 作为水印 FROM

回答 1 投票 0

使用 Azure 数据工厂实现 OpenSearch 滚动分页

我需要通过rest API(https://opensearch.org/docs/2.0/opensearch/search/paginate/)在来自OpenSearch的Azure数据工厂复制活动上实现滚动API。 Scroll API 可用于迭代...

回答 1 投票 0

ADF 内存不足异常

我有一个带有自托管集成运行时的 ADF,我间歇性地收到此错误: { “错误代码”:“2200”, "message": "'Type=System.OutOfMemoryExcept...

回答 1 投票 0

以镶木地板文件格式从本地复制到 Blob 时,ADF 中出现内存不足错误

我在本地 SQL 中有大约 10M 条记录,我正在尝试使用集成运行时以 parquet 文件格式将其传输到我的 Azure Blob 存储。 对于 2M 记录,它正在传输,无需我...

回答 2 投票 0

ADF 管道复制了所有内容,但卡在了最后

我运行了 50 次,有 5 次发生所有数据都加载到目标表中但运行从未结束(超时结束)。其他 45 次运行均正常。 它在自托管 IR 上运行。 来源:CSV in st...

回答 1 投票 0

Terraform Azure 数据工厂参数

我正在尝试将参数传递给 Terraform 中的 ADF。我正在尝试将其添加到 azurerm_data_factory_dataset_json 所以我们有这样的东西: 我正在尝试不同的方法如何添加这个

回答 1 投票 0

您知道如何在 Databricks 集群上安装“ODBC Driver 17 for PostgreSQL”吗?

我正在尝试通过 Azure Databricks 笔记本运行 postgreSQL 存储过程。 我们已经在 Azure Database for PostgreSQL 中编写了存储过程,并且想要运行 postgreSQL 存储过程...

回答 1 投票 0

在天蓝色数据工厂中复制数据可以使用预览数据,但在我触发时却没有

我正在尝试使用 Azure 数据工厂将所有表从 SQL Server 复制到 Fabric Lakehouse,已经使用 AWS S3 进行了操作,但使用 SQL Server 时它不起作用。 (我知道我可以使用fa...

回答 1 投票 0

Azure 数据工厂缺少幽灵数据流参数

尝试预览 ADF 数据流中的数据,但我遇到了一个奇怪的错误,该错误指出数据流具有尚未为其提供值的参数。然而,数据流没有参数...

回答 1 投票 0

有没有办法获取Azure数据工厂的静态IP地址

我必须使用 Azure 数据工厂将数据从本地 sql 服务器传输到 Azure Sql,但是 sql 服务器所有者需要将公共 IP 列入白名单才能提供对其服务的访问。我知道

回答 2 投票 0

使用 Azure 数据工厂在 NETEZZA 中自动执行查询

我有一个每月发生的复杂流程,并且希望使该流程自动化。 我在 Netezza 中手动运行了大约 10 个查询来输出数据集,这可能需要大约 2 天的时间才能完成...

回答 1 投票 0

如何在 Azure 数据工厂中参数化管道并发性(并行运行数)

我有两条管道: 父管道读取配置文件(查找活动),使用过滤器活动对其进行过滤,并将结果数组(例如 50 个项目)传递给 ForEach 活动以运行子管道...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.