如何从dask-lightgbm中找到最优的n_worker，threads_per_worker和n_jobs？这些之间有任何关联吗？

Question

我正在使用Dask分布式/ Dask LightGBM来改善运行时间。

我尝试将Dask-LightGBM和n_worker的n_jobs和Dask的thread_per_worker的许多组合设置为10GB的文件。

Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                40
On-line CPU(s) list:   0-39
Thread(s) per core:    2
Core(s) per socket:    10
Socket(s):             2

RAM: 252GB

Answer 1

很难找到最佳性能，没有算法可以为您提供最佳数值。它们取决于您的硬件，算法，数据和其他复杂因素。