mapreduce 相关问题

如何使用MapReduce在python中相乘矩阵？

假设我有两个如下所示的2X2矩阵。 A，0,0,1 A，0,1,0 A，1,0,0 A，1,1,1 B，0,0,2 B，0,1,3 B，1,0,4 B ，1,1,5例如B，1,0,4表示矩阵B，第1行，col 0，值4。我如何使用...

如何在JavaScript中使用map reduce来汇总多层嵌套对象中的信息？

我正在尝试编写一个函数，该函数将有效地汇总来自一系列嵌套javascript对象的数据。我认为这应该可以通过reduce方法来完成，但是不是很熟练。]]

针对来自MySQL的大数据的推荐ETL解决方案？

我有一种情况，第三方将数据存储在每日表中，如果记录数超过200万，则会创建一个后续表，依此类推，命名为[date] _x。现在，我们有一个报告...

错误：找不到或加载主类org.apache.hadoop.hdfs.server.namenode.NameNode尝试了所有解决方案，但错误仍然存 在

我正在按照教程安装hadoop。 hadoop 1.x对此进行了解释，但是我正在使用hadoop-2.6.0，在执行以下cmd之前，我已经成功完成了所有步骤。 bin / hadoop ...

如何在MapReduce中将信息从一个reducer传递到另一个reducer

我有两个映射器和两个缩减器（1和2）。我的驱动程序类运行两个作业，这些作业需要两个不同的输入文件并输出两个不同的输出文件（再次为1和2）。因此job1与...

在mapreduce的mapper / reducer类之外访问静态HashMap

我正在尝试编写一个mapreduce程序，其中map函数将项目添加到HashMap，然后reducer访问这些项目并将其写入输出。公共类MyClass {静态HashMap＆...

映射器数量：Mapreduce与Sqoop

无法在mapreduce程序上定义映射器的数量，因为将根据输入的分割或大小选择映射器的总数。但是，为什么我们可以选择在sqoop上设置num-mappers？ ...

在hdfs文件上运行awk脚本并将结果文件持久存储在hdfs中

我在hdfs中有一个文件，需要在其上运行awk脚本。然后，我将结果保存到另一个hdfs位置。一种方法是在本地下载hdfs文件，然后运行awk操作。 ...

EMR上的MapReduce无法联系RMProxy并在等待资源管理器时卡住？

我正在使用hadoop 2.7.3在EMR上运行mapreduce / hadoop。从AWS进行库存安装，并且该罐是使用maven shade插件构建的。等待ResourceManager时，它无限卡住，但是我已经...

使用MapReduce的快速傅立叶变换算法实现

我想用MapReduce实现快速傅里叶变换算法。我知道递归FFT算法，但是我需要您的指导，以便使用Map / Reduce方法实现它。任何...

MapReduce中的reduce是否立即运行，还是等待地图完成？

刚刚阅读完有关MapReduce的以下文章。一个问题-减少等待所有地图操作完成的时间，还是可以在某些结果可用后开始？

如何在Windows 10的cmd外壳上的笔记本电脑上本地运行mapreduce程序

我正在尝试在笔记本电脑安装的hadoop 2.8版本上本地运行MapReduce程序。我很困惑如何在Cmd Shell中使用以下命令。这是我的命令，还共享映射器和化简器...

Spark的reduceByKey是否使用固定数量的内存，或者使用线性数量的键？

据我所知，在外部排序和/或Hadoop MapReduce中有解决方案，当按键对数据进行排序/分组以进一步使用时，可以使用恒定数量的内存，而不用更多内存...]]

CouchDB查询以获取具有最大时间戳的文档

我的CouchDB文档格式如下，根据价格变化，可以有多个具有相同product_id和store_id {“ _id”：“ 6b645d3b173b4776db38eb9fe6014a4c”，“ _ rev”：“ 1 -...

Python MapReduce如何添加条件语句

我是MapReduce的新手，我试图在MovieLens 100k数据集中找到电影的平均电影评论。我有一个工作程序，可以找到每部电影的平均评价，但是我想要... ...

PyMongo中的MapReduce

[我的Mongo收藏集：印象数具有以下格式的文档：-{_uid：10，“印象数”：[{“ pos”：6，“ id”：123，...

Stream中是否有办法获得SUM作为中间操作

作为总和，收集并减少是终端操作。有没有一种方法可以比较流中sum的结果以从流中返回布尔值。我在下面的代码段中编写了代码，以找到完美的...

Mapreduce作业失败，并显示“ MAX_FAILED_UNIQUE_FETCHES;救助”

Map-reduce作业失败，并在化简器上出现以下错误：org.apache.hadoop.mapreduce.task.reduce.Shuffle $ ShuffleError：fetcher＃5中的org.apache.hadoop.mapreduce中的混洗错误。 ...

在多个map（）和reduce（）调用之间共享数据

我需要在map（）和reduce（）之间共享一个HashMap对象。说明：我希望map（）检索并更新HashMap中当前键的某些数据。我希望reduce（）能够...

如何在PouchDB mapreduce中按长度对密钥进行排序？

我正在开发一个React应用，以搜索IPFS中托管的集合。我正在使用PouchDB来存储路径和IPFS ID之间的映射。我正在使用的界面是自动完成的。每个...