oozie 相关问题

Hadoop Oozie CPU利用率高

我目前在OOZIE中运行20个并发作业，并注意到oozie在VM中达到了CPU使用率的400％。如何减轻负荷？添加其他oozie服务器会减轻它的负载吗？

oozie shell脚本在kerberos集群中执行beeline

我一直在尝试执行由beeline组成的shell脚本来执行配置单元查询。该群集是启用了Kerberos的群集。如果脚本具有带有keytab的kinit和...

Oozie属性文件值未从火花读取

我在ozozie中有一个属性文件，并从如下所示的shell脚本中获取值：shell脚本中的filter_cond = record ='n'和name ='abc'和age = '14'val cond = $ {getproperty filter_cond} ...

将转换后的oozie DAG部署到Google Composer Airflow：无名为'o2a'的模块

我正在使用Google oozie到气流转换器来转换在AWS EMR上运行的某些oozie工作流程。设法获得了第一个版本，但是当我尝试上传DAG时，气流引发错误：...

无法在Oozie中使用火花动作执行Pyspark脚本-实例化'org.apache.spark.sql.hive.HiveExternalCatalog时出错

当Spark从oozie调用Hive时，异常引发了“ java.lang.ClassNotFoundException：org.apache.hadoop.hive.ql.metadata.HiveException”

我有将数据保存到hdfs的spark作业，然后将相同的数据保存到Hive表。当我在Jupyter上运行它时，它成功运行。但是当我通过oozie运行它时，它会引发以下异常...

OOZIE Spark动作：有时没有这种方法错误

我通过渗出液执行火花动作时遇到此异常。有时工作运行正常，有时我会收到此异常。真的很奇怪，不确定为什么会这样。我有spark的检查版本...

有什么方法可以运行spark脚本并与oozie并行存储输出吗？

我有3个spark脚本，每个脚本中都有1个spark sql来读取分区表并将其存储到某些hdfs位置。每个脚本都有一个不同的sql语句和到...

Oozie java action logger日志未显示在Oozie控制台上

我正在通过在Oozie java操作中调用Driver类来执行map-reduce代码。 Map reduce成功运行，我得到了预期的输出。但是，我的驱动程序类中的日志语句不是...

如何将GCS存储桶用作Dataproc中Oozie的工作流文件源

我们正在将EMR集群迁移到Dataproc，我们依靠Oozie来运行我们的工作流程。第一个挑战是如何从Cloud Storage存储桶中加载workflow.xml。我们以前使用S3来做到这一点：...

如何使用GCP存储桶作为DataProc中oozie的工作流文件源

我们正在将emr集群迁移到dataproc，我们依靠oozie运行我们的工作流程。第一个挑战是如何从gcp存储桶中加载workflow.xml。我们以前使用S3来做到这一点：oozie ....

Oozie-每天或每小时运行一个工作流

我有一个oozie工作流程（hive_insertion.xml），该工作流程执行一个.hive文件，该文件将数据插入表中。 Oozie工作流程为：

我如何在oozie作业中指定多个libpath？

我的oozie作业使用2个jar x.jar和y.jar，以下是我的job.properties文件。 oozie.libpath = / lib oozie.use.system.libpath = true当两个罐子都位于相同的位置时，这是完美的...

PySpark从Oozie启动时未导入本地模块

我有一个PySpark作业，当使用spark-submit启动时可以完美运行，但是当尝试使用Oozie Spark Action启动它时，我总是遇到错误。这是lib目录的结构，位于...

通过REST在oozie工作流程中获取oozie职位信息

我如何找到父母ID为空的工作？我尝试了3种方法，但没有一种对我有用。 / oozie / v1 / jobs？jobtype = wf＆filter = parent_id =％00不起作用/ oozie / v1 / jobs？jobtype = wf＆filter = ...

将自定义python库路径添加到Pyspark

在我的hadoop集群中，他们在python默认路径以外的其他路径中安装了anaconda软件包。当我尝试在pyspark ImportError中访问numpy时，出现以下错误：No module named ...

Oozie构建失败：无法执行目标org.apache.maven.plugins：maven-assembly-plugin：3.1.0：single

我正在尝试使用Java版本“ 1.8.0_221”和maven版本3.6.3安装Oozie 5.2.0。解压缩Oozie文件后，输入以下命令：bin / mkdistro.sh assembly：single -P hadoop-2，uber ...

如何修复'java.lang.NoSuchMethodError：scala.collection.immutable。$ colon $ colon.hd $ 1（）Ljava / lang / Object'

所以我开始编写自己的包含Apache Spark动作的Oozie工作流程，但事实是，即使我用Scala 2.11.8和Spark 2.3.0显然用sbt打包了我的源代码，但纱线还是说...

oozie-java.lang.NoClassDefFoundError：无法初始化类java.net.NetworkInterface

[在运行oozie示例示例时，正在安排Oozie作业，并且状态显示为“正在运行”。一段时间后，工作被杀。在挖掘hadoop日志时发现了这些异常。我有...

存储在Azure Data Lake中的Oozie文件或存档标签参考文件

我们在Azure计算节点上自定义了Apache Hadoop安装，并使用Apache Oozie安排工作流。所有工作流和协调器xml文件都部署到Microsoft Azure数据湖中...