distributed-computing 相关问题

利用多台计算机,通过通信链路相互连接,完成一项共同任务。

当我使用正确的用户和通行证将 Spring 网关的数量水平缩放到 2 个实例后,Keycloak 给出了身份验证错误。怎么解决?

我对这个问题的预感是,由于现在有多个 Spring Gateway 实例,可能会导致会话冲突,您能否使所有实例都...

回答 1 投票 0

错误:torch.distributed.elastic.multiprocessing.api:失败(退出代码:-11)local_rank:二进制文件为0:..../python

错误:torch.distributed.elastic.multiprocessing.api:失败(退出代码:-11)local_rank:二进制文件的0(pid:3680358):/home/lifesci/ekeys/anaconda3/envs/minigpt4-4/bin/ Python 回溯(最近一次调用

回答 1 投票 0

具有多个连接的Rq Worker

我在同一网络中有 3 台服务器。每台服务器上都运行着一个 redis 服务和某种生产者。生产者将作业排队到名为任务的本地 rq 队列中。 所以每个服务器都有...

回答 1 投票 0

在 Apache Spark 中,有没有办法强制 DataFrame 在特定节点上执行?

首先,让我描述一下我的设置。 我有两台通过以太网连接的电脑。 PC A 同时执行主节点和工作节点功能,而 PC B 仅作为工作节点运行。 由于某些限制,...

回答 1 投票 0

如何从Python控制MT4? [已关闭]

我正在使用 MetaTrader4 终端,并且我是经验丰富的 Python 开发人员。 有谁知道,如何连接 MT4 和 Python?我想要: - 连接到 MT4 - 读取美元/欧元数据 - 下订单(买/卖) ...

回答 3 投票 0

如何从输入流中读取一段时间?

我必须在特定时间从InputStream 读取行并返回我在列表中读取的行。在我当前的解决方案中,我不确定这是否是中断线程的最佳方法,因为有些......

回答 1 投票 0

ZooKeeper 如何提供顺序一致性

在这里 有人说: “即使你每次都从不同的追随者那里读到,你也永远不会 看过版本 4 后,再看版本 3 的数据。” 因此,如果我有 3 个节点 Zookeeper 法定人数如下:...

回答 2 投票 0

在 PostgreSQL 中为供应商生成连续且不同的订单号

我正在分布式系统中开发一个电子商务应用程序,其中多个服务器与 PostgreSQL 数据库交互。我需要为每个供应商实现一个订单号计数器,以确保每个

回答 1 投票 0

python后面的这个“-u”是做什么用的? [重复]

python -u -m torch.distributed.launch --nproc_per_node=1 --master_port=9421 \ Genie_Finetune.py \ --checkpoint_path="/save/delibot" \ --model_channels 128 --in_channel 128 --out_channel 1...

回答 1 投票 0

如何确定 Spark 集群的基础设施需求

我正在寻找一些有关如何调整 Spark 集群服务器大小的建议或资源。我们的企业要求迫使我们只能使用本地服务器,因此我无法在 ...

回答 1 投票 0

集群和JVM的区别

集群和JVM有什么区别? 静态变量在集群环境中的行为如何?它属于集群还是单个 JVM?

回答 1 投票 0

在小型 Spark 集群中的同一个节点上运行 Master 和 Worker 来实现 HA 是一个好主意吗?

我需要为生产环境设置一个独立模式的 Apache Spark 集群。对于此任务,我只有三个可用节点。每个节点有: 128GB内存 24个CPU核心 没有例子

回答 1 投票 0

分布式哈希表:防止节点存储PB级数据?

我正在阅读分布式哈希表和 Kademlia。但我有一个很大的问题还没有得到解答。 节点可以通过散列文件名并将其发送出去来广播其文件......

回答 1 投票 0

Raft算法中这个配置如何正确

所以假设raft算法中3台服务器的日志配置如下: S1 -> 3 S2 -> 3 3 4 S3 -> 3 3 5 如果假设 S3 是...的领导者,则可能会出现这种配置

回答 2 投票 0

反向索引有什么意义?

我刚刚了解了反向索引。维基百科页面说 在数据库管理系统中,反向键索引策略反转 在将键值输入索引之前先输入键值。1 例如,...

回答 2 投票 0

如何对 NVIDIA GPU 和内存进行分区以进行并行处理和网络?

我手头有一个开发分布式计算模拟器的任务,我希望将我的计算资源(N Nividia GPU 和 M GB 内存)划分为 P 个分区,以便我可以同时...

回答 1 投票 0

是否有一个约定的 UML 图样式来记录或说明(Docker)容器在系统架构规范中的作用? [已关闭]

我计划绘制一些 UML 结构图,以说明 Docker 映像(或容器,在部署图中)在我正在构建的软件的整体结构中的位置。 我是

回答 1 投票 0

distcc 类似 Windows 框架 [已关闭]

我们正在运行一些繁重的计算,可能需要很多时间(甚至几天)。我们有一个类似于编译器的架构(编译器+链接器): 很多数据块需要计算...

回答 2 投票 0

在火炬分布式训练中获取本地世界大小

假设我有 2 台机器,每台机器有 4 个 GPU。假设训练算法的每个实例需要 2 个 GPU。 我想运行 4 个进程,每台机器 2 个,每个进程使用 2 个 GPU。 哈...

回答 3 投票 0

分布式系统消息传递中发布者/订阅者和生产者/消费者之间的区别?

发布者/订阅者和生产者/消费者模型有什么区别? 我经常听到人们交替使用“出版商”和“制作人”这两个词,但我不……

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.