请建议我如何将输出fileformat(part-r-00000)(默认文件格式)更新为另一种文件格式,如csv或txt文件格式的map reduce程序。
你可以这样做:
hdfs dfs -cat /path/in/hdfs/part* |hdfs dfs -put - /chosen/path/in/hdfs/name_of_file.txt
要么
hdfs dfs -cat /path/in/hdfs/part* |hdfs dfs -put - chosen/path/in/hdfs/name_of_file.csv
另一种方法是-getmerge
复制到本地然后你需要-copyFromLocal
回hdfs
但它的目的是改变你的文件格式:
hdfs dfs -getmerge /path/in/hdfs/part* /path/in/local/file_name.format
hdfs dfs -copyFromLocal /path/in/local/file_name.format /path/in/hdfs/archive/
一种方法是使用hadoop的put命令将part-r-00000文件复制到xyz.txt文件。比如hdfs dfs -put part-r-00000到xyz.txt