multiprocessing 相关问题

多处理是在单个计算机系统中使用两个或更多个中央处理单元(CPU)

Python 多处理 - 是否为每个进程创建两个线程

该程序启动两个进程。看起来实际上可能为每个进程创建了两个线程。一个是生成的 python 程序的主线代码,另一个是

回答 1 投票 0

Python + PyQt:中断另一个进程

我有一个基于 PyQt5 的应用程序,它在 Windows 上运行。我有一个主 GUI 进程,从中启动另一个运行工作函数的进程。我希望在工作程序中引发键盘中断...

回答 1 投票 0

在其他文件中的Python进程之间共享锁

我正在尝试使用多处理映射函数在我的列表上执行函数。然而,在这个函数中,我做了一些 API 调用,这些调用不能同时执行,因为它会过载...

回答 1 投票 0

单线程文件加载和多处理

我有一个大数据文件(几GB到几十GB),我想在python中的多个线程中读取和处理它。 我目前的方法是分部分读取文件(假设 100MB)并通过该文件

回答 1 投票 0

在类方法内运行多重处理

我正在尝试在类方法内运行多重处理。 我不明白,在池多处理的映射函数内传递类属性/类方法后出现一些错误。我动了...

回答 1 投票 0

Dask 数据帧并行运行并按列分区

我有一个包含多个公司和国家/地区数据的数据框,我正在尝试使用函数并行转换这些数据。数据采用这样的格式,但要大得多,并且有更多的信息...

回答 1 投票 0

并行运行anthropic api

我成功地与多处理并行运行 OpenAI GPT4o: def llm_query(块): 上下文,查询 = get_prompt_synonyms() 输入1,输出1 = get_example() 响应 = client.chat.

回答 1 投票 0

如何在运行的进程之间共享配置的记录器?

我正在尝试构建一个带有记录器的小型 GUI 应用程序,该应用程序在某些时候会对多组数据(最多数百组)进行一些耗时的操作。当然,我想用

回答 1 投票 0

将多处理函数的返回值放入矩阵中

我的实际问题相当长,我相信它可以从多重处理中受益。问题的症结如下: 我有一些多处理函数,它接受两个值 (x , y)

回答 2 投票 0

python3.x 多处理循环没有“if __name__ == '__main__':”

我有这个文件(它没有任何有用的工作,仅用于学习): 导入多处理系统 def 父级(numproc=2): 打印('开始时') 孩子=[] print ('管道之前') (标准...

回答 3 投票 0

Pytorch Python 分布式多重处理:收集/连接不同长度/大小的张量数组

如果多个 GPU 级别上有不同长度的张量数组,则默认的 all_gather 方法不起作用,因为它要求长度相同。 例如,如果您有: 如果 GPU == 0: ...

回答 3 投票 0

Python 多处理队列,剩余项目的块

使用Python中的多处理库运行两个线程,将项目放入子线程的队列中并从父线程获取它们,挂在最后一个项目上。 问题是为什么...

回答 1 投票 0

Python multiprocessing.pool apply_async 回调函数无法重新排序输出数据

我正在使用 multiprocessing.pool apply_async 函数通过计算机视觉算法处理一些视频数据,当前的策略是加快处理速度,因为该算法没有内存...

回答 1 投票 0

使用 MESI 协议,写入命中也会使处理器停止运行,对吗?

我正在做一个项目,该项目是在 VHDL 中实现具有某种缓存一致性(我选择 MESI)的双处理器系统。我只想确认一件事:共享 c 上的写入命中...

回答 1 投票 0

如何向不同的站点发送太多请求并获得响应?

我如何向不同的网站发送大量请求,我有一个网站数据库(1kk),需要检查它们是否还活着,有条件地如果你只是通过grequests(Python)chu...

回答 1 投票 0

如何在 Django 应用程序中安全地使用多处理?

我读过的文档表明,多重处理可能会在 Django 应用程序或 Windows 上导致意外的副作用,尤其是那些连接到多个数据库的应用程序。具体来说,我正在使用一个函数...

回答 1 投票 0

信号量权限被拒绝

我正在尝试创建一个可以在进程之间共享的简单信号量。我的主程序调用以下函数来创建信号量。 #define SHAREDSEM“/sharedSem” sem_t *sharedSem =

回答 2 投票 0

异常:在 GPU 上使用 torch.multiprocessing.spawn 时,进程 0 以退出代码 1 终止

每当我使用 torch.multiprocessing.spawn 在多个 GPU 上并行化时,包括并行和分布式训练教程中的代码示例,我都会收到错误。 异常:进程 0

回答 1 投票 0

如果我们有 AsyncIO、多线程和多处理,为什么还要使用 celery?什么时候用什么?

最近我正在学习 celery,这个问题出现在我的脑海中,因为还有其他解决方案可以从请求-响应周期中卸载任务。

回答 1 投票 0

如何使用 Python 多重处理与未定义的 Queue.task_done()

我有以下脚本,我想通过在 CPU 核心之间拆分任务来加快处理速度。 myscript.py 从队列导入队列 从worker_script导入Worker 任务队列 =

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.