oozie 相关问题

Oozie是一个用于管理Hadoop Map Reduce作业的工作流/协调系统

Oozie Web Console运行非常缓慢

在我的群集中,Oozie Web控制台非常慢。当我转到Web控制台时,将请求传递到oozie服务器需要10 -15秒,然后再发布10秒钟才能发布从oozie获得的结果...

回答 2 投票 0

文件作为Oozie工作流程中触发操作的命令行参数

如何在Oozie工作流程中将文件作为命令行参数传递给Spark作业?我的Spark工作期望将文件作为命令行参数,但是当我在工作流中将文件作为/ file / location传递时......>

回答 1 投票 0

oozie java.io.IOException:方案无文件系统:hdfs

我已经使用Hadoop 2.7.3设置了oozie 4.3.1。 oozie已成功设置并运行,并且能够查看Web控制台http:// localhost:11000 / oozie /,还可以使用oozie status命令进行确认。 ...

回答 1 投票 0

自动使用nohup命令执行火花作业的顺序

我需要根据各种文件分区将历史数据加载到配置单元表中。当前使用nohup命令调用Spark提交。我正在尝试创建一个脚本,其中将包含所有...

回答 1 投票 1

在oozie中设置作业故障警报

我是Hue界面上的oozie,我希望在其中收到有关任何被杀死/失败/长期运行工作的电子邮件警报。有什么办法可以做到这一点。下面是组件列表组件版本色调...

回答 1 投票 1

如何处理oozie协调器中的日光节约?

由于日光节约,我所有计划的工作(使用oozie)都在稍后的一个小时内运行。在DST之前:我的工作在DST之后的每天8:00 pm运行:现在,工作在9:00 pm可以运行,就可以知道... ...>

回答 1 投票 0

设置hadoop用户以通过oozie shell操作启动spark-submit

我想通过shell操作启动oozie工作流时为hadoop用户设置spark-submit操作:oozie MR(启动shell)应以用户A的身份启动,但是spark-submit(从shell启动...

回答 1 投票 1

Oozie设置不起作用

还有Apache Bigtop的另一个问题。这次是oozie。每当我想对Oozie进行操作时,都会收到以下异常:java.lang.IllegalArgumentException:Oozie URL不是...

回答 2 投票 0

如何通过hive2 oozie动作连接到hive服务器2?

我无法通过oozie的Hive2动作连接到Hive。 jdbcUrl已启用zooKeeper服务发现。我的数据平台是Hortonworks 2.6。最初我试图连接到beelne ...

回答 1 投票 0

Oozie Cordinator输入数据事件不起作用:未格式化的函数错误

[我正在尝试通过ambari gui在oozie中运行协调器作业。但是当我创建数据集输入事件时却遇到异常... ACTION [-]发生异常:未格式化的函数:2019-11-02T18:...

回答 1 投票 0

Oozie命令行过滤器

oozie job -info $ coordinator该命令为您提供了属于协调器的工作流程的详细信息,打印其ID,状态,创建时间和标称时间。我正在尝试打印...

回答 1 投票 0

为Hue / Oozie中的任何作业/工作流程失败配置电子邮件警报吗?

如果Oozie中的任何工作/工作流程失败,我想收到电子邮件通知。我正在使用Hue监视工作流程。我不想在每个工作流程中添加电子邮件操作,因为我周围有...

回答 1 投票 0

OOZIE成功运行MR作业,但从未收到状态更新

我有一个运行名称节点,数据节点,作业历史记录,yarnmaster,oozie和mysql的容器的docker网络。我的oozie可以将作业成功提交到我的hadoop集群。作业将成功,但是...

回答 1 投票 0

如何在Oozie中全局配置此电子邮件操作?

我有大约50个这样的工作流程,下面的代码只是一个示例, [

回答 1 投票 0

如何获得Oozie的依赖性检查以列出数据集的完整路径名而不是coord:latest(0)?

[使用Oozie协调器和工作流程,我在协调工作日志中看到以下特定操作:JOB [0134742-190911204352052-oozie-oozi-C] ACTION [0134742-190911204352052-oozie-oozi-C @ 1] [ ...

回答 1 投票 0

oozie在Shell脚本中运行Sqoop命令

我可以在脚本中编写sqoop导入命令,并在oozie中作为协调员工作流程执行它吗?我已经累了,发现一个错误,说即使我给出了绝对的...也找不到sqoop命令...

回答 3 投票 1

oozie sqoop shell操作-sqoop:未找到命令

我正在尝试通过shell动作来触发sqoop命令。但是我遇到了错误-Sqoop:找不到命令。我可以通过外壳操作从HDFS读取文件的内容。但是当我尝试...

回答 1 投票 0

与动作相关的未知hadoop作业。操作失败

我正在尝试从OOzie运行mapreduce程序。但是低于错误JA017:与操作[0000000-19100218005959-oozie-hdus-W @ ...]相关联的未知hadoop作业[job_local100982864_0001

回答 2 投票 1

作业跟踪器没有创建任何条目

我正在尝试从Oozie运行mapreduce作业。但是在运行作业后,在作业跟踪器网址中不会创建任何条目。到现在为止,我已经运行了近20多个作业,所有作业都失败了,但是看不到任何一个...

回答 1 投票 0

使用oozie中的正则表达式检查文件名格式

我想检查给定HDFS位置中是否存在具有特定名称的文件。我的文件名是这样的:TEST_20190930.csv我在互联网上进行了一些搜索,发现fs:...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.