为分布式计算实现客户端 - 服务器应用程序

问题描述 投票:0回答:1

我有一堆带GPU的机器(我和我的朋友拥有它们)主要用于游戏和机器学习。我认为最好将它们用作分布式系统(例如,对机器学习模型进行分布式培训)以减少培训时间,而不是单独使用每台机器。我没有开发应用程序的经验(留下单独的云应用程序),但我认为创建客户端 - 服务器应用程序会很有趣,其中:

  • 在前端,客户(例如我和我的朋友)可以访问系统并查看哪些机器可用于工作。如果一台机器有一个空闲的GPU,那么它应该可用于工作,否则(例如某人正在工作或正在玩)该机器应该不可用。客户端可以选择一堆可用的计算机,然后启动虚拟机(包含要运行的代码和所有必需的数据)。
  • 在后端,所选服务器接收虚拟机并以分布式方式在其中执行代码(例如,Tensorflow允许分布式训练)。

在我看来,出于隐私/安全原因,使用虚拟机是非常必要的。我基本上是让我的朋友进入我的系统,他们也是如此。我想避免客户弄乱服务器。除了使用Windows之外,所有机器都有Ubuntu。因此,我必须首先在Ubuntu中实现它。

话虽如此,我不知道从哪里开始实现这一切。除了选择一种语言(我更倾向于Java或Python,但我会考虑任何其他选择),我应该采取哪些主要步骤?我知道它可能是一个常见的客户端 - 服务器应用程序,但正如我所说,我没有应用程序开发的经验。谢谢

web-applications cloud client-server virtual-machine distributed-computing
1个回答
1
投票

根据我的理解。您想建立一个分布式计算系统,用于从BS模型进行机器学习和访问吗?如果我是对的。也许您可以查看旨在解决此问题的张量流指南。以下是链接。

https://github.com/tensorflow/examples/blob/master/community/en/docs/deploy/distributed.md

© www.soinside.com 2019 - 2024. All rights reserved.