我怎么能在几台计算机之间转换数据? [关闭]

问题描述 投票:-3回答:1

背景:我想在R中构建一个简单的分布式环境,它可以在WINDOWS中完成一些“数据大量”的工作。例如,计算“大”矩阵乘法。似乎有各种各样的解决方案,我在他们身上工作了一段时间,但我无法修复它。

我已经尝试过这些:Rserve和RSclient,包括雪,降雪等。

我尝试了几种方法,但是我找不到适当的解决方案来在客户端之间转换数据,如果所有数据转换都必须通过主服务器,那么这可能是一场灾难。

问题:是否有任何函数可以在群集中按需要在每两台计算机之间传递矩阵?

Question

我知道可能套接字连接可以工作,但我怎样才能优雅地启动它?我是否必须手动在不同的计算机上启动R脚本,因为WINDOWS中似乎没有SSH?因为我的教授,我必须继续努力。

想知道这样做是否是好习惯?提前致谢。

r windows distributed-computing
1个回答
1
投票

您可以选择使用SparkR

您将被迫使用Spark API来分发您的数据,并且某些程序包可能没有按预期运行,但它可以完成这项工作。

Spark独立集群由可通过HTTP和多个工作人员访问的主服务器组成。它不是资源共享的理想解决方案,但它比Hadoop +火花解决方案更轻。

最后你可以试试Dataiku,因为它可以通过笔记本电脑,火花集成和数据集管理提供这样的能力。社区版不是合作版,但它们为学校提供免费许可

© www.soinside.com 2019 - 2024. All rights reserved.