multiprocessing 相关问题

多处理是在单个计算机系统中使用两个或更多个中央处理单元(CPU)

如何防止多处理继承导入和全局变量?

我在较大的代码库中使用多重处理,其中某些导入语句具有副作用。如何在后台进程中运行函数而不让它继承全局导入? # 嗯...

回答 3 投票 0

前两个函数同时运行完成后执行第三个函数

我有以下代码: 类重复定时器(定时器): ”“” 扩展 threading.Timer 类以按固定时间间隔执行函数。 ”“” def 运行(自我)...

回答 1 投票 0

Dask 保姆内存错误 - Worker 太慢而无法终止

我正在尝试使用 Dask 打开一个 jsonl 文件,当我第一次运行该程序时,我收到一条警告,称工作人员使用的内存超出了分配的内存,最终保姆试图终止该工作...

回答 1 投票 0

如何在Python中让多个进程长期写入同一个文件?

我在python中使用多进程,每个进程执行相同的程序,从一些pkl文件中读取,这些文件存储字典,根据这些pkl分析新数据并更新相同的pkl ...

回答 1 投票 0

多处理和连接池错误:无法pickle'psycopg2.extensions.connection'对象

我试图将一个使用 Postgres 中的连接池的数据库对象传递给另一个类对象,但我不断收到错误。 如果 __name__ == "__main__": 核心数=计算核心数()

回答 1 投票 0

python muliprocessing:AttributeError:无法在模块上获取属性<function_name>

以下代码: 将 numpy 导入为 np,将 pandas 导入为 pd 导入多处理、itertools、timeit 从 functools 导入部分 进程 = 5 * multiprocessing.cpu_count() 打印(f'进程:{进程...

回答 1 投票 0

多处理代码在 while 循环中不起作用

周日快乐。 我有这个代码,我想使用多处理模块运行。但它不仅仅因为某种原因而起作用。 以 ProcessPoolExecutor() 作为执行器: 而真实: 如果LOC...

回答 1 投票 0

在子流程工作时执行某些操作?

有没有办法在主进程中执行诸如打印内容或将管理器字典转换为本地字典之类的操作,以防在加入子进程时发生键盘中断: 就像是: 定义

回答 1 投票 0

Pytest Monkeypatch 用于测试的多进程函数

Pytest猴子修补使用多进程的函数(通过concurrent.futures.ProcessPoolExecutor)无法按预期工作。如果同一个函数是用单进程或多线程写的...

回答 1 投票 0

Monkeypatch 用于测试的多进程函数

Monkeypatching 使用多进程的函数(通过并发.futures.ProcessPoolExecutor)无法按预期工作。如果用单进程或多线程编写相同的函数(通过

回答 1 投票 0

如何在 Python 中并行运行多个子进程并等待它们完成

我正在尝试将 bash 脚本迁移到 Python。 bash 脚本并行运行多个操作系统命令,然后等待它们完成后再恢复,即: 命令1 & 命令2 & 。 命令...

回答 2 投票 0

无法在Python中的exec函数中使用多重处理

我需要在 exec 函数内使用多重处理,但出现错误。 如果 __name__ == "__main__": exec('''来自多处理导入池 def 函数(): 打印(1) 如果__name...

回答 1 投票 0

在 Python 中并行输入运行可执行文件

我有一个程序需要运行多个可执行文件,我想通过并行运行这些程序来提高性能。 我的基本代码看起来像这样: 导入子流程 定义 r...

回答 1 投票 0

如何在 Java 中并行处理对象列表?

我有一个大约有一千个Java对象的列表,并且正在迭代一个List容器来处理它们,对每个对象进行相同的处理。这种顺序方法需要花费大量时间

回答 3 投票 0

Python Jupyter Notebook 上具有一个函数的多处理

我正在实现一个执行时间较长的算法,并且我需要将所有CPU能力用于涉及繁重处理的部分代码。我把它写成了函数的形式,...

回答 1 投票 0

Python 多处理:当我在一个巨大的 pandas 数据帧上启动许多进程时,程序会卡住

我正在尝试使用Python的多处理库(pool_starmap)在同一Pandas DataFrame上并行执行同一任务的代码上获得执行时间,但使用不同的调用参数...

回答 2 投票 0

将工作池拆分为不同的多处理函数调用

我有 4 个函数想要使用多重处理,这四个函数中的每一个都必须迭代 3 个不同的输入集。我的电脑有 8 个核心,因此我想要 8 个池工作...

回答 1 投票 0

如何限制函数中使用的子进程数量

我的问题是如何更改此代码,使其仅使用 4 个子进程? 测试=“a b c d e” 对于 $TESTS 中的 f;做 t=$[ ($随机 % 5 ) + 1 ] 睡眠 $t && 回声 $f $t & 完毕 ...

回答 8 投票 0

无法在多处理中共享类

我正在尝试创建一个在 Python 3 多处理中共享给定类对象的测试程序。 为此,我首先创建一个类对象,然后将 manager.Value 应用于它以获得

回答 1 投票 0

重写 multiprocessing.queues.Queue put 方法

我想实现一个不添加已存在元素的multiprocessing.Queue。 使用 Python STL Queue 我没有遇到任何问题,遵循这个响应。对于多处理我遇到了一些问题...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.