kettle 相关问题

Kettle是Pentaho数据集成社区版工具的代号。它是一个基于GUI的开源ETL(提取,转换和加载)工具。

如何查找 KETTLE HOME 的定义位置

我在我的 Windows 机器上安装了 Pentaho,并且正在运行 Spoon。我想知道定义 KETTLE_HOME 的文件。我在哪里可以找到这个文件? 我需要知道这个信息,因为有

回答 1 投票 0

Pentaho - 将文件列表上传到 Amazon s3

我正在寻找一种将文件列表上传到 Amazon S3 的方法。 我试过这个:http://open-bi.blogspot.co.il/2010/03/kettel-job-plugin-send-files-to-amazon.html 但这对我不起作用。我是...

回答 2 投票 0

将带有元列的 XML 转换为 PDI 中的 csv

我有以下 XML 结构作为输入(列/字段和行数可以根据查询进行更改) 我有以下 XML 结构作为输入(列/字段和行数可以根据查询进行更改) <?xml version="1.0" encoding="UTF-8"?> <response> <results> <metadata> <column name="item" type="S" length="255"/> <column name="client" type="S" length="255"/> </metadata> <data> <row> <field>ACME-ITEM-01</field> <field>ACME</field> </row> </data> </results> </response> 我想使用 Pentaho Data Integration PDI(又名 Kettle)或 Apache HOP 将其转换为 CSV 文件。 做到这一点的最佳方法是什么? 我在 PDI 中解析 XML 文件没有问题,其中每个段都有自己的名称,但在这里我正在用头撞墙。 刚刚发现这正是元数据注入步骤的目的。

回答 1 投票 0

为什么执行sql脚本在kettle中不起作用

我正在使用kettle从一个表(t1)获取数据并加入执行sql脚本工具(t2),然后在同一个表(t1)中进行插入/更新 这是我的转变 表格输入工具 选择学生...

回答 2 投票 0

Pentaho Data Integration V7 中的通道日志表问题:在手动执行中有效,但在夜间批处理中无效

在Pentaho Data Integration(V7)中,我们激活了Kettle自己的日志表来生成错误报告系统。到目前为止,我们已经激活了Job、Transformation和Channel日志表: 在...

回答 1 投票 0

Pentaho 数据集成无法在新的 Mac M1 上启动

当我尝试在 Mac bigSur (M1) 上运行 Pentaho Data Integration 时遇到问题。 问题代码如下: 抱歉,尚不支持此Mac平台[arm64]!请尝试开始使用“数据集成...

回答 3 投票 0

从流中获取行号以执行concat

例如,我们可以简单地从 Pentaho Spoon 中的流中提取行号来执行连接操作吗? 让我们考虑一下我们有: # 国家 行号 1 FR 无效的 2 是 无效的 在这里我想

回答 1 投票 0

如何在 Pentaho Spoon 中添加条件

我正在尝试从 csv 文件插入表中不存在的记录。如果表中存在记录但未插入,我该如何调整过滤记录的条件。 在此输入图像描述 广告...

回答 1 投票 0

Pentaho:文件夹中的多个excel到一个excel

我已成功从文件夹中输入多个 Microsoft Excel 文件。如何将所有这些数据保存到一个 Excel 文件中? 参考输入:https://stackoverflow.com/a/66865749/23392458 我想要所有 Excel

回答 1 投票 0

如何在PDI中循环日期变量?

所以我有一份工作,第一个转换步骤是“声明日期变量” 我需要使用 2 个日期变量作为范围来创建 date_from 和今天之间的循环(7 天范围) 是...

回答 1 投票 0

我的 postgres 数据库中有错误的口音和“ñ”

我有一个 ETL 过程,从 PostgreSQL 数据库和 xls 文件收集数据,然后插入到 PostgreSQL 数据库中,该过程在采用 UTF8 编码的 Postgres 14 的本地数据库中运行良好,并且

回答 1 投票 0

Pentaho Kettle 在 JAVA 应用程序中嵌入转换错误处理

我正在使用包含“数据验证器”和“用户定义的Java表达式”步骤的简单转换来测试kettle-sdk-embedding-samples。 其中一项测试包括

回答 1 投票 0

连接到存储库时的 Pentaho 元存储位置

我正在配置存储库以与 Pentaho 一起使用。目前我有一个简单的脚本,它创建一些环境变量(例如 KETTLE_HOME),然后调用/打开提供的 Spoon 客户端。 哈...

回答 1 投票 0

如何循环遍历 XML 中的元素以分解并加载到数据库

我有一个要求,传入的 XML 必须被分解并加载到数据库中。 所有元素都有各自的表格。 传入的 XML 看起来像这样: 我有一个要求,传入的 XML 必须被分解并加载到数据库中。 所有元素都有各自的表格。 传入的 XML 看起来像这样: <root> <creditreport> <data1> <A>val1</A> <B>val2</B> </data1> <data2> <C>val3</C> <D>val4</D> </data2> <data3> <E>val5</E> <F>val6</F> </data3> <data3> <G>val7</G> <H>val8</H> </data3> </creditreport> </root> 现在在 Kettle 中,我正在设计一个通用框架,它可以获取 XML 并将其分解到数据库中。 我正在使用“获取 XML 数据”组件来读取 XML。 我已将“循环 Xpath”定义为 root/creditreport,然后我将字段一一读取为: name xpath Element ResultType A data1 Node Valueof B data1 Node Valueof ..... ..... ..... E data3 Node Valueof ..... ..... G data3 Node Valueof 但问题是,它只粉碎了第一行并丢失了第二行。我可以理解原因,因为 XPATH 循环仅到 。 如果我将“xpath循环”定义为“root/creditreport/data3”,那么元素“data3”的问题就得到解决,但还有其他元素也可以重复,然后我将再次站在问题的起点。 有什么建议吗!! 如果父节点(dataX)和子节点(A、B、C 等)确实是唯一/连续的,您可以进行一个非常通用的设置: 使用 /root/creditreport/*/* 作为 xpath 循环路径 手动设置这样的字段: 这应该给你一个像这样的输出: 从这里您可以根据需要对数据进行非规范化或其他处理。请注意,我已经为父级别的节点添加了序列号,因此您可以区分第一个 Data3 和第二个,等等。 另一方面,如果您的 dataX 节点都具有相同的子节点(A、B A、B 而不是 A、B C、D 等),您可以使用 /root/creditreport/* 作为 xpath 循环路径并跳过父节点字段,配置通常你的值节点 A 和 B。 以下是定义和输出。所有字段都是相对于当前节点 (.) 定义的。 我也有同样的问题。如何在 Loop xpath 中循环 xml 元素。 可以请指教吗

回答 2 投票 0

通过命令行在Carte服务器上运行Pentaho作业或转换

我需要通过命令行调用jobs/trans来运行,因此我使用pan.sh和kitchen.sh来触发它们运行。 然而,每当它被触发时,它都会创建一个单独的 JVM。我正在考虑...

回答 1 投票 0

通过命令行在 Certe Server 上运行 Pentaho 作业或转换

我需要通过命令行调用jobs/trans来运行,因此我使用pan.sh和kitchen.sh来触发它们运行。 然而,每当它被触发时,它都会创建一个单独的 JVM。我正在考虑...

回答 1 投票 0

从存储库下载 Pentaho Kettle jar 文件时出现问题

我正在尝试从 Maven 中的以下存储库下载 Kettle jar: pentaho-代表 http://maven-repository.com/artifact/pe...

回答 4 投票 0

kettle/status 中 xml=n 的 java.lang.NullpointerException

我正在尝试通过水壶/状态页面检查我的作业状态,但是,我收到以下错误。使用xml=y参数,页面显示状态列表。 java.lang.

回答 1 投票 0

当 Pentaho 无法进行转换时发送电子邮件

我在Pentaho中为DW构建了一个ETL结构,但是,我们使用不稳定的OLTP数据库作为源,所以有时作业中可能会发生错误(因为数据库关闭)。 我需要创造一份工作...

回答 1 投票 0

如何提高pentaho变换输入/输出速度

我正在使用 Pentaho 数据集成 (PDI)-spoon 来创建 ETL,并且我非常关注性能。 我开发了一个 ETL 来处理 MySQL 8 中的 2,500,000 行副本(每行有 104 列)...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.