MapReduce是一种使用大量节点处理某些类型的可分发问题的大型数据集的算法
我正在Hive中探索窗口函数，我能够理解所有UDF的功能。虽然，我无法理解我们使用的分区和顺序...
Hive错误：FAILED：执行错误，从org.apache.hadoop.hive.ql.exec.mr.MapRedTask返回代码2
我在HDFS上使用了flume的twitter数据。有3个节点集群和MySQL Metastore用于配置单元。当我执行下面的查询时，选择user_name.screen_name，user_name.followers_count from ...
我必须使用Hadoop相关工具分析存储在生产服务器上的Gzip压缩日志文件。我无法决定如何做到这一点，以及使用什么，这里有一些方法我...
我想知道我们如何从k-fold交叉验证方法中选择模型。在k折交叉验证中，我们可以使用k模型的平均精度获得k个模型和精度分数。你能 ...
ApplicationMaster退出代码杀死的容器是143
我在几种情况下遇到以下错误：2017-03-23 11：55：10,794 INFO [AsyncDispatcher事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl：诊断报告.. 。
我试图用mapreduce运行2个python程序，每当我运行它们时都会出现错误。下面是2个文件的代码。它一直告诉我，预计有一个缩进的块错误......
如何将key为null且setNumReduceTasks（0）为MapReduce程序中的分隔符指定空格
我试过conf.set（“mapreduce.output.textoutputformat.separator”，“”）;但它没有用。 O / P正在获取{tab space} val1 {tab space} val2 O / P预期val1 val2
“步骤1的计数器：没有计数器发现”使用Hadoop和mrjob
我有一个python文件在Hadoop（版本2.6.0）上使用mrjob来计算bigrams，但我没有得到我希望的输出，我在解码终端输出时遇到问题...
在Map-Reduce作业中，我使用五个不同的文件，其中我的数据集中包含两个类别P和I下的值。在找到特定值后，我将这些传递给I-part-r-00000文件...
我有一个定义的函数：def map（id，txt）：mapop = [] words = txt.split（）用于单词的单词：tmp =（word，id，1）mapop.append（tmp）return mapop我试过了申请这个......
Pydoop mapreduce“AttributeError：module'wordcount_minimal'没有属性'__main__'”
我安装了Pydoop并尝试运行MapReduce作业。为了做一个干运行，我尝试执行单词计数示例wordcount_minimal.py和wordcount_full.py。它们都挂在地图阶段。 ...
我正在阅读一篇关于小文件如何降低hive查询性能的文章。 HTTPS：//community.hitachivantara.com/community/products-and-solutions/pentaho/blog/2017/11/07/working -...
聚合是可能的。我将对象的键更改为它的_id。我正在尝试使用map-reduce进行聚合与项目。任何的想法？我有什么：{“serie”：{“_ id”：......
在Hadoop MapReduce中找到排除“the”，“am”，“is”和“are”的十大最常用字词？
我正在使用MapReduce处理WordsCount问题。我使用了Lewis Carroll着名的透过镜子的txt文件。它非常大的档案。我运行了我的MapReduce代码并且工作正常。现在我 ...
我正在涉足mongoDb并尝试使用map reduce查询。我需要总结来自不同列的多个值（num1，num2，num3，num4，num5）。关闭本指南http：//docs.mongodb.org / ...
我正在写一个地图减少应用程序scala。直到地图功能一切正常。但在编写减速机的同时我遇到了问题。 override def reduce（key：Text，values：java.lang.Iterable [Text] ...
在Hadoop中运行jar文件时，我遇到了错误。我无法理解问题是什么。下面是地图代码// Mapper类公共静态类E_EMapper扩展...
目前我的num reduce任务设置为job.setNumReduceTasks（100）;所以我的最终输出目录在S3中，如下所示/output/part-r-00000.gz /output/part-r-00001.gz ...等...
使用shell脚本的Hadoop流：reducer因错误而失败：没有这样的文件或目录
我正在使用10节点HDP集群，我试图在Bash上使用shell脚本运行一个简单的WordCount作业.Below是我正在使用的Commmand行参数。纱瓶/usr/hdp/2.6.5.0-292/hadoop -...
我正在阅读猪的apache日志，它计算了ip的总连接数。 A = LOAD'access.log'使用PigStorage（''）为（f0：chararray，f1：chararray，f2：chararray，f3：chararray，f4：chararray，f5：...