我正在本地机器上用dask优化一个TPOT管道。我希望这能运行48小时甚至更长时间。
我启动了一个带有几个核心的客户端,这样我就可以在它在后台运行时继续使用我的机器。
from dask.distributed import Client
client = Client(n_workers=1, threads_per_worker=6, memory_limit="14GB")
我想知道是否可以在客户端添加worksthreads,这样当我睡觉或不使用电脑时,它的计算能力就会增加。
是的,你可以考虑使用Dask的自适应缩放。https: /docs.dask.orgenlatestsetupadaptive.html。
client.cluster.adapt(minimum=0, maximum=10)