从Oozie运行mapreduce程序

问题描述 投票:0回答:1

这是第一次运行Oozie的mapreduce程序。

这是我的job.properties文件

nameNode=file:/usr/local/hadoop_store/hdfs/namenode
jobTracker=localhost:8088
queueName=default
oozie.wf.applications.path=${nameNode}/Config

这是我的hdfs-site.xml

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop_store/hdfs/namenode</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/local/hadoop_store/hdfs/datanode</value>
 </property>
</configuration>

这是我的core-site.xml

<configuration>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/app/hadoop/tmp</value>
  <description>A base for other temporary directories.</description>
 </property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.groups</name>
<value>*</value>
</property>
</configuration>

但是当我运行Ozzie命令来运行我的Mapreduce程序时,其给出的错误是找不到lib文件夹。 Error: E0405 : E0405: Submission request doesn't have any application or lib path

oozie job -oozie http://localhost:11000/oozie -config job.properties -run

我已经在Config中创建了HDFS文件夹,并且在该文件夹中也创建了lib文件夹。在lib文件夹中放置我的mapreduce jar文件,在Config文件夹中放置我的workflow.xml文件。 (全部在HDFS中)

我想我在nameNode的文件中输入了错误的HDFS路径(job.propertie)。这就是为什么它无法找到{nameNode}/Config的原因,我想知道什么是hdfs path ..?

感谢

hadoop hdfs oozie oozie-workflow
1个回答
0
投票
实施例:

nameNode=hdfs://localhost:8020 jobTracker=localhost:8032

来源:

Apache Oozie穆罕默德·卡姆鲁·伊斯兰和阿拉维德·斯里尼瓦桑[]
© www.soinside.com 2019 - 2024. All rights reserved.