etl 相关问题

ETL是Extract,Transform和Load的首字母缩写。它指的是从源系统提取数据,以某种方式转换数据(操纵它,过滤它,将其与其他源组合),最后将转换后的数据加载到目标系统的过程。

db2 回滚 UOW 后表标记为不可用

我们尝试从 Pentaho ETL 工具处理 CSV 文件,但是当我们处理新的 CSV 文件时,DB2 表进入不可访问状态,并在 ETL 日志中出现以下错误。 无法插入 SQL :...

回答 1 投票 0

对于允许从 mongoDB 中提取数据然后将其移动到同一产品的另一个环境的工具或任何其他方法的建议?

我正在开发一个具有不同环境的网站。数据管理工具是MongoDB。以前,我在环境 1 上运行自动化测试脚本,现在我必须在环境上执行此操作...

回答 1 投票 0

如何解决Pentaho文本文件输出错误-请求的数组大小超出VM限制

我正在通过将“表输入”步骤起诉到“text_file_output”步骤到csv文件中来导出数据,但由于“java.lang.

回答 1 投票 0

适用于 Visual Studio 2022 的 SSIS 扩展

我已经下载并安装了Visual Studio 2022。然后点击修改后 现在,我想创建 SSIS 包,为此我已经启动了 VS22 并在“管理扩展”中,当我尝试...

回答 4 投票 0

ETL 的 Python 编码

我想从我的pdf页面中提取一些表格。但是当我执行程序函数时,它没有给出正确的表数量。它应该返回 2 个表,但它返回 1 个。我正在附加...

回答 1 投票 0

SSIS 包保持执行状态,没有完成执行,也没有给出错误

我创建了一个包含多个数据流任务的包。它还包括 BEGIN TRANSACTION 作为执行 SQL 任务 当包被另一个包调用时,它不会完成执行。豪...

回答 1 投票 0

优化Oracle以Parquet Spark Write

Spark 超级新,所以尝试通过我继承的这个简单任务来学习。 任务是从 Oracle 数据库中提取数据(使用分区),然后将其作为 S3 兼容存储写入

回答 1 投票 0

Kettle - pan.sh“未提供存储库,无法加载转换”

我创建了一个水壶转换,并在我的电脑上进行了测试,它可以工作。但是,我已将其插入服务器中并通过 pan.sh 作为 bash 脚本启动。它正在工作,但几次后就开始了......

回答 1 投票 0

informatica Power Center 内存使用情况

我尝试了解如何优化所有工作流程。 我一直在寻找解决方案。 我发现有时 Informatica Power Center 使用了大量空间。由于这个原因,我有一些数据泄露......

回答 1 投票 0

SQL - 如何优化两个日期之间的连接?

我目前正在开发一个项目,该项目将提供有关有效保险单的每月信息。可视化将在表格中完成。数据看起来像这样: 政策政策系列...

回答 1 投票 0

使用Airbyte从kaggle等网站/数据集平台获取数据

我是 Airbyte 的新手,我们的团队正在寻求将 Airbyte 用于不同的来源 - 从 http api(网络抓取网站)到包含 kaggle 等数据集的网站。我们正在寻求创建

回答 2 投票 0

OData Source 验证失败并返回错误代码 0xC020801F

我在 SSIS Odata 连接方面遇到了这个奇怪的问题。 我的组织尝试将数据从共享点列表移动到 SQL Server 并通过 Odata 连接、共享点 REST API 我已经成功了...

回答 1 投票 0

如何执行存储在临时表单元格中的SQL脚本?

我有一个相当复杂的动态 SQL 脚本,它将数十个脚本输出到临时表中。例如: 更新表 更改列 UPDATE mydb.sch.tbl SET zipcode = null 其中 col = ''; 阿尔特...

回答 1 投票 0

从 API 提取空 JSON 时,Azure Pipelines/Dataflow 失败

我们的 dwh 中的表具有 NOT NULL 约束。因此,每当我们的 API 调用收到空 JSON 时,数据流都会失败,因为“它无法在 NOT NULL 约束列中插入 NULL 值”。

回答 1 投票 0

使用 talend 对相似值进行排序

我有一个 CSV 文件 我想将相似的 DeptID 分组在一起,并按升序对 MID 进行排序,然后使用 talend open studio for data 将最低 MID 的值分配给具有相似 DeptID 的 SID

回答 1 投票 0

在 SQL Server 中自动导入 CSV 文件

我目前正在使用 SSIS 定期将大量 CSV 文件导入我们的系统。这些导入过程是使用 SQL Server 代理来安排的 - 这应该有一个美好的结局。

回答 4 投票 0

从具有多个查找表的 Oracle Apex SQL 表中提取并展平数据

我正在 ServiceNow 中使用外部 Oracle Apex 数据库,目标是从主表收集数据,该主表有 21 个对不同查找表的引用。每个查找表

回答 1 投票 0

如何根据Python中多列的行值创建新的数据框?

我有多列仅包含 0 或 1。 苹果 橙子 梨 1 0 1 0 0 1 1 1 0 我想计算并输入 0(在“错误”列中)和 1(在“正确&

回答 2 投票 0

如何修复 SSIS 中由于连接的主机无法响应错误而导致建立的连接失败?

我有一个SSIS包,用于每周将表数据从测试服务器传输到生产服务器。 总项目数为 41712958。 几周以来,这个包裹抛出了以下呃......

回答 2 投票 0

Pentaho 变换设置

我想了解pentaho环境中的以下差异 1)什么是行集。就像输入步骤中记录的收集一样,或者确切的含义是什么? 我看到

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.