multiprocessing 相关问题

多处理是在单个计算机系统中使用两个或更多个中央处理单元(CPU)

Python:当进程工作人员中有 ProcessPoolExecutor 时,使用 QueueHandler 记录到单个文件

我想将来自不同进程的日志添加到单个文件中,其中包含 ProcessPoolExectuor。 我的应用程序具有以下结构: 主要流程 具有进程池的辅助进程:

回答 1 投票 0

为什么迭代会破坏我的文本文件行,而生成器却不会?

对于文本文件的每一行,我想进行大量计算。行数可能有数百万行,因此我使用多重处理: 工人数量 = 1 将 open(my_file, 'r') 作为 f: 与多处理...

回答 1 投票 0

Python:读取文本文件并将行块发送到处理

我有一个文本文件,对于每一行我想做一个相当繁重的计算,并且文件中的行数可能很大(数百万)。 我正在使用多处理。 工人数量 = 1 与开放(

回答 1 投票 0

在 Python 中使用 Concurrent.futures 捕获所有报价数据时遇到问题

我正在开发一个程序,用于插入从经纪商 API 以网络流字典格式接收的 300 多种股票的价格变动级别数据。我在未经同意的情况下成功运行了该程序的一个版本...

回答 1 投票 0

Python 中多处理共享 c 指针

我尝试使用多处理在 Python 中实现树保姆支持,但 Python 进程崩溃了。下面是一个最小可重复示例。 我的需求是能够发送局域网...

回答 1 投票 0

在 Python 3.2 中并行执行 for 循环[重复]

可能的重复: 如何并行化一个简单的 python 循环? 我对 Python 很陌生(使用 Python 3.2),我有一个关于并行化的问题。我有一个我想执行的 for 循环...

回答 2 投票 0

TypeError:无法pickle“builtins.DT”对象 - 多处理、pickle、pathos

我在我的项目中使用“startinpy”库(https://startinpy.readthedocs.io/en/0.10.2/)。它通常工作得很好,但是当我想在第二个进程中使用它时,会出现 pickle 错误:

回答 1 投票 0

Python 使用 QueueHandler 记录到进程工作人员中 ProcessPoolExecutor 上的单个文件

我想将来自不同进程的日志添加到单个文件中,其中包含 ProcessPoolExectuor。 我的应用程序具有以下结构: 主要流程 具有进程池的辅助进程:

回答 1 投票 0

Python:多重处理比顺序处理花费的时间更长,为什么?

我有这段代码,它生成 2,000,000 个均匀分布在边界框中的点,并根据某些标准进行一些计算来划分点。 将 numpy 导入为 np 从绘图导入

回答 1 投票 0

Linux中两个进程之间的上下文切换会发生什么?

假设进程 p1 正在使用自己的地址空间(堆栈、堆、文本)执行。当上下文切换发生时,我知道所有当前的CPU寄存器在加载过程之前都被推入PCB......

回答 2 投票 0

Dask 令人尴尬地并行循环优化

我正在尝试加快 pandas.DataFrame 上的一些计算速度。每次迭代的大约一半时间仅用于创建数据帧的副本(它有约 150 万行和 10 列......

回答 1 投票 0

在python中使用多处理时有没有办法结束所有进程?

我是Python新手,我想找到一种方法来看看当我得到我想要的结果并将其放入其中一个进程时是否可以立即结束所有进程。我尝试了很多东西,比如 sys.exit(...

回答 1 投票 0

bash 中的多处理

我在一个Python项目上编写了一个脚本(包装器)。 这是链接: https://github.com/daniellerch/aletheia https://daniellerch.me/stego/aletheia/intro-en/#aletheia-commands 本质...

回答 1 投票 0

python 工作人员随机卡住

我在 Python 中的多处理脚本中遇到了问题。该脚本使用函数 process_one_flight 处理航班。单独来看,函数的每一步都按预期工作,但是......

回答 1 投票 0

ProcessPoolExecutor 和 ThreadPoolExecutor 的效率对比

列表的高效求和涉及在保持顺序的同时并行化加法过程。 目标是创建一个类似于树的层次结构,其中相邻节点是

回答 2 投票 0

当我关闭/终止 tkinter 窗口时如何结束 Flask 应用程序(例如控制 c)

我目前正在开发一个 python/flask 项目。我使用 tkinter 作为 GUI 来进行测试,以显示变量并使用滑块等。但是,我一直在思考如何终止两者......

回答 1 投票 0

自定义 MPI 结构中的 mpfr_t

我正在努力将我的程序转换为使用任意精度,因此我开始使用 MPFR。我有一个自定义 MPI 结构,其中包含原始代码中的数据。现在我已经改变了我的爸爸...

回答 1 投票 0

连接池在Python多处理中如何工作?

使用 python 多处理,假设我通过分叉主进程来创建 10 个进程。我们知道,子进程在自己的内存空间中继承父进程的状态。 我有一个

回答 1 投票 0

Python 多处理。队列放置会杀死 Docker 容器中的进程

我正在 Docker 容器中运行一个小型多处理测试。该测试使用带有消费者和生产者的 multiprocessing.Queue。导致崩溃的最小代码可以在下面找到,toge...

回答 1 投票 0

Python 中多处理的瓶颈

我有一个代码,使用两个参数(r,t)创建一个矩阵 H。然后我找到这个矩阵的特征值并使用特征值进行一些计算。现在,我需要对许多不同的

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.