这是第一次运行Oozie的mapreduce程序。
这是我的job.properties文件
nameNode=file:/usr/local/hadoop_store/hdfs/namenode
jobTracker=localhost:8088
queueName=default
oozie.wf.applications.path=${nameNode}/Config
这是我的hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/datanode</value>
</property>
</configuration>
这是我的core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.groups</name>
<value>*</value>
</property>
</configuration>
但是当我运行Ozzie命令来运行我的Mapreduce程序时,其给出的错误是找不到lib
文件夹。 Error: E0405 : E0405: Submission request doesn't have any application or lib path
oozie job -oozie http://localhost:11000/oozie -config job.properties -run
我已经在Config
中创建了HDFS
文件夹,并且在该文件夹中也创建了lib
文件夹。在lib
文件夹中放置我的mapreduce jar文件,在Config
文件夹中放置我的workflow.xml
文件。 (全部在HDFS中)
我想我在nameNode
的文件中输入了错误的HDFS路径(job.propertie
)。这就是为什么它无法找到{nameNode}/Config
的原因,我想知道什么是hdfs path ..?
感谢
nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
来源:
Apache Oozie穆罕默德·卡姆鲁·伊斯兰和阿拉维德·斯里尼瓦桑[]