运行hadoop wordcount示例时出现错误消息

Question

我使用此命令在Hadoop中运行wordcount示例。

hadoop jar /usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount inputWiki/Wiki_data_100MB outputWiki0301

我收到如下错误信息。

2018-03-01 18:54:14,845 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-03-01 18:54:16,107 INFO beanutils.FluentPropertyBeanIntrospector: Error when creating PropertyDescriptor for public final void org.apache.commons.configuration2.AbstractConfiguration.setProperty(java.lang.String,java.lang.Object)! Ignoring this property.*

我之前使用过该命令运行类似的文件并且运行良好。有人可以帮我吗？

更新以下结果：

pal-nat186-66-224：bin xujingjing $ hadoop jar /usr/local/Cellar/hadoop/3.0.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount inputGurtenberg0302 / gurtenberg。 txt outputGurtenberg0302 2018-03-02 17：23：58,961 WARN util.NativeCodeLoader：无法为您的平台加载native-hadoop库...使用builtin-java类适用2018-03-02 17：24：00,164 INFO beanutils。 FluentPropertyBeanIntrospector：为public final创建PropertyDescriptor时出错void org.apache.commons.configuration2.AbstractConfiguration.setProperty（java.lang.String，java.lang.Object）！忽略此属性。 2018-03-02 17：24：00,226 INFO impl.MetricsConfig：来自hadoop-metrics2.properties的加载属性2018-03-02 17：24：00,396 INFO impl.MetricsSystemImpl：计划的度量快照周期为10秒。 2018-03-02 17：24：00,397 INFO impl.MetricsSystemImpl：JobTracker度量系统已启动2018-03-02 17：24：00,781 INFO mapreduce.JobSubmitter：清理暂存区域文件：/ tmp / hadoop / mapred / staging / xujingjing1314852612 / .staging / job_local1314852612_0001 org.apache.hadoop.mapreduce.lib.input.InvalidInputException：输入路径不存在：org.apache.hadoop中的hdfs：// localhost：8020 / user / xujingjing / inputGurtenberg0302 / gurtenberg.txt。位于org.apache.hadoop.mapreduce.lib的org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus（FileInputFormat.java:272）中的mapreduce.lib.input.FileInputFormat.singleThreadedListStatus（FileInputFormat.java:330）。 org.apache.hadoop.mapreduce.JobSubmitter.writeSplits（JobSubmitter.java:330）中org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits（JobSubmitter.java:313）的input.FileInputFormat.getSplits（FileInputFormat.java:394） at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal（JobSubmitter.java:203）at org.apache.hadoop.mapreduce.Job $ 11.run（ Job.java:1570）atg.apache.hadoop.mapreduce.Job $ 11.run（Job.java:1567）at java.base / java.security.AccessController.doPrivileged（Native Method）at java.base / javax.security .auth.Subject.doAs（Subject.java:423）org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1962）org.apache.hadoop.mapreduce.Job.submit（Job.java:1567） ）atg.apache.hadoop.mapreduce.Job.waitForCompletion（Job.java:1588）位于java.base / jdk.internal.reflect的org.apache.hadoop.examples.WordCount.main（WordCount.java:87）。 java.base / jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中的java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）中的NativeMethodAccessorImpl.invoke0（Native Method）at at位于org.apache.hadoop.util的org.apache.hadoop.util.ProgramDriver $ ProgramDescription.invoke（ProgramDriver.java:71）中的java.base / java.lang.reflect.Method.invoke（Method.java:564）。在org的ProgramDriver.run（ProgramDriver.java:144） .apache.hadoop.examples.ExampleDriver.main（ExampleDriver.java:74）at java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke0（Native Method）at java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke（ NativeMethodAccessorImpl.java:62）在org上的java.base / java.lang.reflect.Method.invoke（Method.java:564）的java.base / jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43） .apache.hadoop.util.RunJar.run（RunJar.java:239）org.apache.hadoop.util.RunJar.main（RunJar.java:153）pal-nat186-66-224：bin xujingjing $

Answer 1

错误就是这个

输入路径不存在：hdfs：// localhost：8020 / user / xujingjing / inputGurtenberg0302 / gurtenberg.txt

所以使用

hdfs dfs -mkdir -p /user/xujingjing/inputGurtenberg0302/
hdfs dfs -copyFromLocal \
   /path/to/gurtenberg.txt \
   /user/xujingjing/inputGurtenberg0302/

我之前用过那个命令运行过类似的文件

初始命令中的行使用完全不同的文件