distributed-computing 相关问题

利用多台计算机,通过通信链路相互连接,完成一项共同任务。

高性能Fortran(HPF),没有指令?

在高性能Fortran(HPF)中,我可以使用DISTRIBUTE指令指定并行计算中涉及的数组的分布。例如,以下最小子例程将求和...

回答 1 投票 2

火花作业长时间运行以获取太小的数据

我在主服务器上运行的火花代码如下:从pyspark导入pyspark导入SparkContext sc = SparkContext()nums = sc.parallelize([1,2,3,4])nums.collect()我的集群配置:3节点(1个master + ...

回答 1 投票 -1

如何使用Scrapyd和ScrapydWeb在整个群集中分布蜘蛛程序?

我正在使用Scrapy在抓取项目中工作,我需要在群集的不同节点之间分布我的Spider,以加快该过程。我正在使用ScrapydWeb进行管理,我有...

回答 1 投票 0

Pytorch-分布式数据并行混淆

[我只是在看DDP教程:https://pytorch.org/tutorials/intermediate/ddp_tutorial.html据此:在...期间,通常使用torch.save和torch.load来作为检查点模块。

回答 1 投票 0

Azure机器学习工作区(MPI配置)中的Horovod时间轴和MPI跟踪

全部,我正在尝试在Azure机器学习服务上使用Horovod训练分布式模型,如下所示。估计量= TensorFlow(source_directory = script_folder,...

回答 1 投票 0

我拥有哪个一致性模型?

我已经在Redis上实现了复制的键/值存储。我有被动复制,其中所有读写请求都转发给领导者,领导者总是返回最后写入的值...

回答 1 投票 0

Sidecar拓扑必须是一对一的吗?

我正在尝试在分布式系统的单节点模式(用于实现代理,资源记录等)中学习sidecar模式。我只是想知道它是否有什么要...

回答 1 投票 0

等待所有给定名称的LSF作业,优先于JOB_DEP_LAST_SUB = 1

我有一个很大的计算任务,由几个步骤组成,我在由LSF管理的PC群集上运行。此任务的一部分包括启动几个具有相同名称的并行作业。职位是...

回答 1 投票 0

水平扩展和分布式系统有什么区别?

我现在正在学习系统设计。我试图对此进行研究,但我唯一能找到的是 Quora 上解释不清的答案。 1)水平缩放和

回答 2 投票 0

http请求是否自动重试tcp连接?

我正在构建一个分布式系统,在该系统中我进行一些http请求进行通信。我希望请求能够容错。请求没有超时,我是否应在一段时间后重试请求...

回答 1 投票 0

用于乘法运算的分布式计算

您能告诉我如何在python的O(N)并行时间内使用最多O(N ^ 1.63)个处理器将M位长的两个整数相乘。我认为karatsuba算法可以工作,但我不...

回答 1 投票 0

如何在多个服务器之间可靠地分片数据

我目前正在阅读一些分布式系统设计模式。当您必须处理大量数据(数十亿个整数或多个peta字节)时,一种设计模式是...

回答 1 投票 0

如何向Julia的新工作人员发送结构?

我已经定义了一个结构,该结构应用作不同功能的输入,而这些功能又会从不同的工作人员调用。字段值将在函数中更改,因此我无法构造...

回答 1 投票 0

并行计算多个值

我有一个扩展欧几里得算法的函数xEuclid,我想使用该函数计算3个值,分别是a = xEuclid(a1,b1),b = xEuclid(a2,b2)和c = xEuclid (a3,b3),...

回答 1 投票 1

即使我们具有单节点多GPU设置,也要限制MPI在单个GPU上运行

我是分布式计算的新手,我正在尝试运行一个使用MPI和ROCm(AMD框架在GPU上运行)的程序。我用来运行程序的命令是mpirun -np 4 ./a.out但这是...

回答 1 投票 1

为什么代码试图从两个ZeroMQ套接字读取消息,失败?

我从两个zmq服务器(一个设置为REQ | REP和一个PUB | SUB)读取消息时遇到问题。这两个服务器正在另一台计算机上运行。当我只阅读REQ | REP连接时,一切正常...

回答 1 投票 0

Amazon EC2与EMR之间的差异

我是Amazon云服务的新手。在研究它时,遇到了EC2和EMR的术语到目前为止,我了解到的是,EC2就像一台普通的云计算机,而EMR是一组EC2云...

回答 1 投票 0

锁定redis群集

我有一个由3个主节点组成的Redis集群,每个主节点都有对应的从节点。我想在集群上获取一个锁,以执行一些写操作,然后释放该锁。来自...

回答 1 投票 2

我可以使用TensorFlow在异构机器上进行分布式训练吗?

我有两台机器,机器1有GPU,而机器2只有CPU。我想知道两台机器是否可以在TensorFlow中使用Multi-worker培训,即在分布式培训期间,...

回答 2 投票 1

Microsoft Orleans每个筒仓的最大谷物数量

我正在测试Microsoft Orleans作为分布式计算框架的可行性。似乎可行,但是我想知道如何在给定的筒仓中设置最大活动颗粒数? ...

回答 3 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.