我正在尝试读取多个具有嵌套并行性的大型 csv 文件。
我有一台 32 核的机器,我想设置嵌套并行(5 乘 6),外部 5 个进程,每个进程有 6 个核心
fread(.., nThreads = 6)
.
R包
future
提供嵌套并行,我试过了
library(future)
plan(list(tweak(multisession, workers = 5), tweak(multisession, workers = 6)))
但上面实际上每个子进程只使用 1 个核心:
plan(list(tweak(multisession, workers = 5),
tweak(multisession, workers = 6)))
registerDoFuture()
foreach(i = 1:5) %dopar% {
availableCores()
}
[[1]]
mc.cores
1
[[2]]
mc.cores
1
[[3]]
mc.cores
1
[[4]]
mc.cores
1
[[5]]
mc.cores
1
有办法做到这一点吗?