与 r future 的嵌套并行性

问题描述 投票:0回答:0

我正在尝试读取多个具有嵌套并行性的大型 csv 文件。

我有一台 32 核的机器,我想设置嵌套并行(5 乘 6),外部 5 个进程,每个进程有 6 个核心

fread(.., nThreads = 6)
.

R包

future
提供嵌套并行,我试过了

library(future)
plan(list(tweak(multisession, workers = 5), tweak(multisession, workers = 6)))

但上面实际上每个子进程只使用 1 个核心:

plan(list(tweak(multisession, workers = 5), 
          tweak(multisession, workers = 6)))
registerDoFuture()
foreach(i = 1:5) %dopar%  {
  availableCores()
}

[[1]]
mc.cores 
       1 

[[2]]
mc.cores 
       1 

[[3]]
mc.cores 
       1 

[[4]]
mc.cores 
       1 

[[5]]
mc.cores 
       1 

有办法做到这一点吗?

r foreach future
© www.soinside.com 2019 - 2024. All rights reserved.