oozie 相关问题

Oozie是一个用于管理Hadoop Map Reduce作业的工作流/协调系统

如何在实际运行之前检测oozie工作流中的错误?

我是大数据的新手,想知道在运行它之前是否有办法检测oozie工作流程中的错误?类似于编译错误的东西。请帮忙。谢谢,安妮

回答 3 投票 0

Oozie - 谷歌云存储 - 删除文件

我想从oozie中删除谷歌云中的文件。我正在创建一个虚拟脚本并通过oozie执行它。我有一个准备声明,我说“删除gs:// .....”它不起作用...

回答 1 投票 0

Oozie + Sqoop:JDBC驱动程序Jar位置

我有一个基于6节点cloudera的hadoop集群,我正在尝试从oozie中的sqoop操作连接到oracle数据库。我已将我的ojdbc6.jar复制到sqoop lib位置(对我来说......

回答 4 投票 5

Oozie Spark2 Java动作:如何关机

我正在将现有的管道从spark 1.6.0迁移到spark 2.1.0(cdh 5.15.1)。我正在使用的oozie版本(4.1.0)不支持spark2操作,所以我们使用java运行spark2作业...

回答 1 投票 0

在通过oozie运行配置单元操作时如何解决问题 - “与Thrift服务器通信时出现未知的HS2问题。”

我正在运行两个shell脚本和十二个hive操作作为数据迁移任务。我正在使用oozie安排这些。虽然我将工作测试为干运行,但工作有时会部分执行...

回答 1 投票 0

如何判断Spark用于读取S3文件的AWS凭据?

我正在运行以前运行良好的Oozie工作。现在,访问S3文件时出现权限被拒绝错误。我只是想弄清楚它正在使用哪些凭据以及在哪...

回答 2 投票 0

如何找到由oozie(hadoop)工作运行的hadoop应用程序

我们知道第一个oozie运行一个hadoop作业并使用该作业运行其他hadoop应用程序。所以我想找到oozie运行的那些hadoop应用程序列表(例如application_231232133)(...

回答 2 投票 0

Oozie spark动作错误:主类[org.apache.oozie.action.hadoop.SparkMain],退出代码[1]

我目前正在设置一个使用Spark动作的Oozie工作流程。我使用的Spark代码工作正常,在本地和YARN上都进行了测试。但是,当它作为Oozie工作流程运行时,我...

回答 1 投票 0

在oozie的sqoop exec工作不起作用

我正在运行3节点HDP 2.2集群。 Oozie版本是4.1.0.2.2,Sqoop版本是1.4.5.2.2。我正在使用Sqoop作业从RDBMS进行增量导入到HDFS,如下所示,sqoop job -create ...

回答 3 投票 0

将oozie工作流程从一个用户转移到另一个用户的最佳方法是什么?

我正在尝试将属于前团队成员的oozie工作流移动到一般帐户,以便我们可以了解他们在尝试实施新工作流时如何设置配置。我试过了 ...

回答 1 投票 0

OOZIE workflow.xml没有函数映射到名称coord:nominalTime

我正在使用Oozie SLA功能。我正在尝试使用$ {coord:nominalTime()}作为标称时间。但是,当我安排工作流程时,它会抛出错误。 E0803:E0803:IO错误,E1004:表达式语言......

回答 2 投票 0

为什么java动作System.out在Oozie中执行时会消失?

我正在使用oozie环境。成功完成作业后,我无法在oozie日志中找到System.out.println输出。我用Google搜索了好几个小时,但我发现了这个但没有结果。来自......

回答 1 投票 2

在oozie中添加pyspark python路径

我正在尝试使用Hue在Oozie上运行一个简单的python脚本。我正在使用anaconda parcels安装,所以我还添加了Cloudera管理器,spark配置(Spark Service Advanced Configuration ...

回答 1 投票 0

error = 2,oozie在hue4.2中执行shell时没有这样的文件或目录

我是hue和oozie的新手,当我在hue4.2中运行一个shell作业时,它告诉我java.io.IOException:无法运行程序“test.sh”(在目录“/ data / hadoop / yarn / local / usercache /根/应用程序缓存/ ...

回答 1 投票 0

Hive2查询在色调编辑器上运行,但在oozie工作流程中失败

我的hive sql查询在putty和hue编辑器中运行完美。但是当我尝试在Oozie中创建一个工作流程时,它失败并出现以下错误 - 启动程序错误,原因:主类[org.apache ....

回答 1 投票 1

杀死oozie协调员并没有杀死随后的火花工作

当我试图杀死一个从oozie工作中调用的火花工作时,它不会被杀死。它只是显示工作流程作业被杀死。然后我从这个命令oozie检查工作流日志...

回答 1 投票 1

无法通过-kill命令杀死oozie作业

我试图像这样杀死一个oozie协调员工作:$ oozie job -oozie http://10.0.3.2:11000/oozie -kill 0003288-130913181709024-oozie-oozi-C没有任何错误出现。但在我检查后......

回答 4 投票 1

命令'oozie admin sharedliblist ...'清空共享库

我已按照此处的说明安装了oozie并安装了共享库http://mockus.in/forum/viewtopic.php?t=48当我运行安装附带的示例MapReduce工作流时,...

回答 2 投票 1

错误:E0505:E0505:应用程序定义

执行以下命令时出错。 oozie job -oozie http:// localhost:11000 / oozie -config coordinator.properties -run错误:E0505:E0505:应用程序定义[hdfs:// localhost:8020 / tmp / oozie -...

回答 3 投票 5

Oozie 4.3.0在Hadoop 2.9.0上构建失败

我用这样的命令运行构建:./ mkdistro.sh -DskipTests和这个:./ mkdistro.sh -DskipTests -D hadoop.version = 2.3.0 -P uber -P hadoop-2但是所有都失败并显示错误消息: [错误] ......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.