concurrent.futures 相关问题

concurrent.futures是一个Python模块,它为异步执行callables提供了一个高级接口。

如何使用 apply 函数在 Pandas 数据框中使用 concurrent.futures?

我一直在尝试并行化我的代码,并花了一些时间研究 Dask、Pandarallel,但由于某种原因它们没有工作,所以我现在正在考虑实施 concurrent.futures ....

回答 0 投票 0

ProcessPoolExecutor 挂起

我正在尝试使用具有以下功能的 ProcessPoolExecutor: def get_ellipse_properties(a,b,mask=mask): ''' a - 特征的 int 时间范围值 b - int 特征 ID 号 ...

回答 0 投票 0

Databricks 中的 ThreadPoolExecutor 和驱动程序节点内存问题

我正在使用线程池执行器并并行运行笔记本。然而,这些并行笔记本根本不使用执行器,所有负载都流向驱动程序节点,导致 r ...

回答 0 投票 0

如何在 django 中使用 ProcessPoolExecutor?

在 Django 项目中,我想使用 ProcessPoolExecutor,但我可以做到。有什么解决办法吗?我调用一个具有执行程序的函数。 我使用 Django==4.1.7。 什么应该添加到我的函数到 r ...

回答 1 投票 0

python 3.7.3 - concurent.futures的等待问题

我是一个python多线程的初学者,更准确的说是ThreadPoolExecutor的初学者,我在这里向你请教这个问题。我目前正在使用concurrent.futures模块,我被等待事件卡住了。...

回答 1 投票 1

如何修复或重组这种多处理模式以避免酸洗错误?

另一个纠错问题... 下面会导致pickling错误。我想应该是和scoping什么的有关。还不确定。我们的目标是有一个装饰器,接受参数和...

回答 1 投票 0

为什么concurrent.futures将结果追加到列表中时,会返回一个空文件?

我试图使用concurrent.futures来读取几个.json文件,并将结果存储在一个列表中。以下是我的代码: data = [] PATH_TO_JSON = 'mediaMy Passportecho2_1' def jsonread (file): ...

回答 1 投票 0

具有多个参数的多进程函数

我正在潜心研究python中的多处理世界。在看了一些视频之后,我想到了一个问题,因为我的函数的性质。这个函数需要4个参数。第一个参数是一个...

回答 1 投票 0

有没有更快的方法用pyglet和线程在屏幕上画画?

下面的三个函数显示了我如何使用pyglet库在屏幕上绘制正方形。代码运行良好。但我想让它运行得更快。以我对线程的新手理解,我 ...

回答 1 投票 1

python的多进程和concurrent.futures有什么区别?

在python中实现多处理的一个简单方法是 from multiprocessing import Pool def calculate(number): return number if __name__ == '__main__': pool = Pool() result = pool......

回答 2 投票 17

异步同步发电机

我有以下情况:我有一个阻塞的同步生成器,我有一个非阻塞的异步函数,我想运行阻塞生成器(在ThreadPool中执行),而异步 ...

回答 1 投票 0

代码在VS Code中运行,但不在终端中运行。

我的python脚本在vs代码中运行得很好,但是当我通过终端运行时,我得到了错误信息 "ImportError: 没有名为concurrent.futures的模块",我使用了一个venv和一个pip列表显示。...

回答 1 投票 0

具有连续无界输入的Python ThreadPoolExecutor

我在服务器上有一个文件夹,该文件夹将全天连续接收一些文件。我需要查看目录,一旦收到文件,就需要对该文件进行一些处理。 ...

回答 1 投票 0

如何同时从多个不同来源阅读?

我正在从CSV_1,CSV_2和DB 1这3个数据源中提取数据。CSV_1和CSV_2具有不同的架构和编码。我正在使用pandas.read_csv读取CSV文件,将pandas.read_sql从......>

回答 2 投票 0

如何同时从多个不同来源阅读?

我正在从CSV_1,CSV_2和DB 1这3个数据源中提取数据。CSV_1和CSV_2具有不同的架构和编码。我正在使用pandas.read_csv读取CSV文件,将pandas.read_sql从......>

回答 2 投票 0

如何将Popen对象传递给current.futures.ProcessPoolExecutor

正如您在下面看到的,我有两个并行运行的Popen对象,但是在每个进程完成后,我要对每个进程接收到的数据执行一些后处理任务...

回答 1 投票 1

如何通过函数params执行并发.futures.ThreadPoolExecutor.map()?

我有一个可迭代的列表,我想在给定的块大小上对所有可迭代对象执行一个函数。根据docs https://docs.python.org/3/library/concurrent.futures.html,我知道我可以做一些事情...

回答 1 投票 0

Python-嵌套循环和异步

我对asyncio还是很陌生,并且在如何处理循环中的循环方面有些挣扎:import asyncio importcurrent.futures import logging import sys import time sub_dict = {1:['...

回答 1 投票 0

Python多重处理-几秒钟后开始下一个过程

我是Python的初学者,因此,如果您可以通过简单明了的说明帮助我,我将不胜感激。在我的Python脚本中,我有一个函数,该函数使多个线程可以执行I / O绑定任务...

回答 2 投票 0

完成Scala承诺竞赛

我似乎无法在Scala中的Promises上找到complete和tryComplete是否是原子操作的任何地方。仅应将承诺写入一次,但是如果同时发生两个tryCompletes ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.