multiprocessing 相关问题

多处理是在单个计算机系统中使用两个或更多个中央处理单元(CPU)

Python 多处理队列:执行 get() 是瓶颈

我用Python创建事件生成器。 我有 3 个模块(每个模块都是一个单独的进程): 输入模块:在不同时刻唤醒,然后将该时刻的时间戳放入输入队列中;

回答 1 投票 0

tqdm 具有多处理功能的嵌套进度条

当第二个进度条完成时,我想在那一行显示一条消息。通过进度条显示它就可以了,这就是我的第一个代码所做的。但是当多处理......

回答 1 投票 0

bz2的解压可以并行吗?

我正在使用pythons bz2模块生成(并压缩)一个大的jsonl文件(bzip2压缩17GB)。 然而,当我稍后尝试使用 pbzip2 解压缩它时,它似乎只使用一个 CPU 核心

回答 2 投票 0

Python 多处理 Pool.map 使用所有核心而不是指定数量

我正在使用Python的多处理模块,更准确地说是Pool类及其map方法来并行运行一个函数(称为evaluate)到Python对象列表(称为object_lis...

回答 1 投票 0

在 python 中使用 multiprocessing.pool 搜索数字

我正在寻找一个小于 100'000 且满足特定条件 f(x) 的数字。 到目前为止我已经编写了以下代码: #!/usr/bin/env python 导入迭代工具 导入多处理池 参数...

回答 1 投票 0

ProcessPoolExecutor 的澄清

我想了解 ProcessPoolExecutor 的工作原理。我尝试了下面的代码,但出现错误: AttributeError Traceback(最近一次调用最后一次) 在 18 ...

回答 2 投票 0

ProcessPoolExecutor 在提交实例方法时不会改变实例变量

给定一个会改变实例变量的实例方法,在 ProcessPoolExecutor 中运行此方法确实会运行该方法,但不会改变实例变量。 来自并发.futures imp...

回答 2 投票 0

Python 中的多处理可用于模拟随时间演变的图吗?

我已经成功地在 Julia 中使用多线程来模拟具有不断变化的值的图,并且希望在 Python 中实现类似的方案。 因为时间 t 时节点的值可能取决于...

回答 1 投票 0

如何将启动事件中的不可pickle对象解析为多处理池中使用的函数?

这是我的代码: 从多处理导入池 从 functools 导入部分 从 fastapi 导入 FastAPI clientObject = package.client() # 对象不能 pickle 应用程序 = FastAPI() def 包装器(

回答 1 投票 0

Python 中的多处理库问题

我对 Python 中的多处理库有疑问。 该库已安装,我确信这一点。 def foo(): 打印(“你好”) 将多处理导入为 mp 任务 = mp.Process(ta...

回答 2 投票 0

在Python中使用全局变量进行多重处理的正确方法

我正在处理大型数据集,为了使我的函数工作,我必须划分数据集并按批次进行计算。这是我的代码: 批量大小 = 128 结果=[] 对于范围内的 i(0, len(查询), batc...

回答 1 投票 0

python 中的 python 多处理库问题

我在 python 中的多处理库方面遇到问题。 库已安装。我对此很确定。 def foo(): 打印(“你好”) 将多处理导入为 mp 任务 = mp.Process(targ...

回答 1 投票 0

使用火炬时多处理速度变慢

我正在使用 scipy 中的 Differential_evolution 和工人来并行计算。我从 numpy 切换到 pytorch 以加快代码速度。 从 torch.multiprocessing 导入 set_start_method,P...

回答 1 投票 0

如何在Python tkinter中为after函数赋予浮点值?

我想在 self.after() 中放入一个十进制数而不是 1,但是它给出了错误,或者如何使其更快? 将 tkinter 导入为 tk 类应用程序(tk.Tk): def __init__(自身): tk.Tk.__ini...

回答 1 投票 0

ThreadPoolExecutor 对于 CPU 密集型任务来说太快了

我试图了解 ThreadPoolExecutor 和 ProcessPoolExecutors 是如何工作的。我对此测试的假设是 CPU 密集型任务(例如增加计数器)不会从在

回答 1 投票 0

Python 信号.SIGKILL 和多重处理

我正在尝试以任何方式在 Ctrl+C 之后返回提示。 我的应用程序使用线程执行器,以及带有线程的多进程。 当我尝试退出多进程队列时,出现 TypeError 问题。和...

回答 1 投票 0

使用 python multiprocessing.Lock 作为 mypy 中的参数类型

我有一个Python函数,它接受一个multiprocessing.Lock对象作为输入,并在其上使用acquire和release函数。使用 mypy 对其进行评估会返回错误 Function multiprocessing...

回答 2 投票 0

如何在 python 中通过 pytube 库有效地使用多重处理以加快下载速度?

我正在使用 python 和 pytube 库来下载 youtube 上给定播放列表链接的所有音频。这就是我想出的: 导入pytube 播放列表 = pytube.Playlist(youtube_playlist_link) 对于 v...

回答 1 投票 0

curl 和服务器之间的 TLS 版本不匹配。我如何接受多个 tls 版本?

我制作了以下服务器: 进口插座 导入线程 导入队列 导入时间 导入SSL 导入多重处理 套接字服务器类: ”“” py 中的基本套接字服务器...

回答 1 投票 0

Python:在后台进程中执行长时间运行的任务,派生 FastAPI 应用程序

TL;博士 在我的gunicorn/uvicorn-run FastAPI应用程序中,我需要以完全非阻塞的方式执行一些长时间运行的任务,因此主异步事件循环不受影响。我能采取的唯一方法...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.