使用C指针时,Das VS多处理

问题描述 投票:0回答:1

[当我在python中使用C指针并尝试使用dask处理它时,它像专业人士一样工作。但是,当我尝试使用python的多处理模块时,它将拆分指针引用错误。

使用C指针时dask如何克服多处理模块的问题

dask dask-distributed dask-delayed
1个回答
0
投票

dask的默认调度程序(“线程化”)在定义图形的同一过程中与线程一起使用,因此每个工作程序都可以访问原始内存空间-因此C指针有效。在新的过程中,无论使用内置的多处理模块,您都需要重新创建所需的C结构,并为它们创建新的指针。这可以通过反序列化(分布式分布式有很多专用于此的逻辑)来完成,也可以通过在worker中重新加载模块/数据来完成。

© www.soinside.com 2019 - 2024. All rights reserved.