mapreduce 相关问题

关闭具有周期性依赖性的通道

我正在尝试在Golang中实现类似于mapreduce的方法。我的设计如下：映射工作人员从映射器输入通道中提取项目并输出到映射器输出通道。映射器输出通道...

创建错误的库存调整

我正在尝试通过MAP / REDUCE脚本创建广告资源调整。我从中设置值的记录正在从getInputData（）中进行搜索。在地图功能中，我正在加载...

Mongo DB mapReduce（）：E查询[js] TypeError：c.out未定义

[当我调用mapReduce时：//地图的主体和reduce函数并不重要，假设我们已经定义了它db.my_collection.mapReduce（map，reduce，{}），我得到一个错误：2019-12-11T09： 58：05.492 + ...

未使用python代码在mapreduce中获得我的预期输出

[运行此代码以获取Hadoop中的概率]，我的数据在CSV文件中大约10k +。我正在使用Google DataProc Cluster运行此代码。请告诉我如何获得期望的输出。和...

Hadoop Map Reduce中的TSV输入

我正在尝试为TSV数据集运行一个简单的map reduce操作，当我尝试一个简单的map操作时，我对什么地方出错感到有些困惑。以下是我对示例字数统计的修改...

mapreduce作业会失去连接，然后在hadoop示例“计算pi 3 3”中重新连接]]

有人知道为什么吗？作业总是卡在进度中（不是0％），有时可能会断开然后重新连接，基本上，该作业无法完成！！！会是分布的内存吗...

在Hadoop集群中运行代码时Mapper.py和Reducer.py中的问题

运行此代码以使Hadoop中的概率将我的数据存储在CSV文件中。当我在群集中运行此代码时，收到此错误“ java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：...

如何在Hadoop上模拟和运行某些服务器？

我需要一个模拟器来在Hadoop上运行一些服务器：能够使用数据库。我想在上面运行Java并查看其结果。在不使用MapReduce的情况下运行Hadoop

我如何在Python中使用map reduce函数确定值？

以下是您在杂货店中可以找到的食品数据列表。下面的CSV文件表示城市，食物类型，每磅平均价格，以及在...

为什么我不能减少数组？

使用MongoDB聚合管道计数文档

这是我的源数据的简化版本：汽车|手册|汽油1 |真实|正确2 |真实|假3 |真实|真实4 |真实| true 5 | ...

[编写mapreduce类时

我在编译平均温度代码时遇到此错误。它给了我以下错误。 hduser @ ubuntu：/ home / sara / Desktop / MaxTemp $ javac -classpath $ HADOOP_HOME / share / hadoop / ...

MapReduce：解决java.lang.ArrayindexOutOfBoundsException：Java中为1

有人可以帮助我解决此错误吗？包bigdata.tp1;导入org.apache.hadoop.conf.Configuration;导入org.apache.hadoop.fs.Path;导入org.apache.hadoop.io.IntWritable; import org ....

使用hadoop从容器启动中获取异常

日志说

MapReduce代码以查找某些城市车站的平均温度

我使用hadoop 3.1.2迈出了第一步，我拥有如下数据集：id station;市;温度1;纽约; 14 3;纽约; 20 2;布里斯托尔...

我无法在hadoop集群中执行mapreduce作业。请用命令帮助我

$ hadoop jar /usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar -file mapper.py -mapper mapper.py -file reducer.py -reducer reducer.py -input / user / cloudera / test.txt-输出/ user / cloudera / result I ...

MarkLogic Optic javaScript地理空间差异

我想使用MarkLogic Optic通过与点的距离缩小所选项目。我有一个带有数据的表和一个lat long const geoData = op.fromView（“ namespace”，“ coordinate”）; geoData.where（...

如何在hadoop map-reduce中跳过不良记录

我对hadoop非常陌生，有人可以给我一个简单的程序来了解如何在hadoop map / reduce中跳过不良记录吗？在此先感谢

Hive查询在Tez上失败，但从Beeline连接时在Map-Reduce上成功

我遇到了一个奇怪的错误。我正在运行带where子句的简单select *查询，以下是查询执行状态的摘要：从EMR（Tez引擎）连接到Hive-后继...

Map减少错误的输出

我正在尝试收集特定站点的最高和最低温度，然后查找每一天的温度总和，但是在映射器中不断出现错误，并尝试了很多其他方法...