使用泊坞窗并行运行RSelenium

Question

我目前正在使用包doParallel以parallelise我RSelenium网站刮板（泊坞上运行）。我发现这个职位（Speed up web scraping using multiplie Rselenium browsers）和我通过复制在@hdharrison这里给出了答案：

library(RSelenium)
library(rvest)
library(magrittr)
library(foreach)
library(doParallel)

# using  docker run -d -p 4445:4444 selenium/standalone-chrome:3.5.3
# in windows
URLsPar <- c("https://stackoverflow.com/", "https://github.com/", 
             "http://www.bbc.com/", "http://www.google.com", 
             "https://www.r-project.org/", "https://cran.r-project.org",
             "https://twitter.com/", "https://www.facebook.com/")

appHTML <- c()

(cl <- (detectCores() - 1) %>%  makeCluster) %>% registerDoParallel
# open a remoteDriver for each node on the cluster
clusterEvalQ(cl, {
  library(RSelenium)
  remDr <- remoteDriver(remoteServerAddr = "192.168.99.100", port = 4445L, 
                        browserName = "chrome")
  remDr$open()
})
ws <- foreach(x = 1:length(URLsPar), 
              .packages = c("rvest", "magrittr", "RSelenium"))  %dopar%  {
                print(URLsPar[x])
                remDr$navigate(URLsPar[x])
                remDr$getTitle()[[1]]
              }
> ws
[[1]]
[1] "Stack Overflow - Where Developers Learn, Share, & Build Careers"

[[2]]
[1] "The world's leading software development platform · GitHub"

[[3]]
[1] "BBC - Homepage"

[[4]]
[1] "Google"

[[5]]
[1] "R: The R Project for Statistical Computing"

[[6]]
[1] "The Comprehensive R Archive Network"

[[7]]
[1] "Twitter. It's what's happening."

[[8]]
[1] "Facebook - Log In or Sign Up"     


# close browser on each node
clusterEvalQ(cl, {
  remDr$close()
})

stopImplicitCluster()

这似乎是我寻求的解决方案，但是当我运行它，我碰到过这样的错误信息：

错误checkForRemoteErrors（lapply（CL，recvResult））：

3个节点产生的错误;第一个错误：在HTTR调用未定义的错误。 HTTR输出：无法连接到192.168.99.100端口4445：连接被拒绝

这是“泊坞窗PS”的输出：

CONTAINER ID        IMAGE                              COMMAND                  CREATED             STATUS              PORTS                    NAMES
f2d62f6b293b        selenium/standalone-chrome:3.5.3   "/opt/bin/entry_poin…"   36 minutes ago      Up 35 minutes       0.0.0.0:4445->4444/tcp   recursing_austin

我明白，我将不得不打开每个核心一个新的浏览器，但我认为这其中的问题是：我减少我的核心上的那一刻，我获得较少产生的错误。

如果我可以提供任何更多的细节，请让我知道！提前致谢！

Answer 1

在平均时间，我能想出如何解决我的错误。如果其他人也面临同样的问题，我在这里留下意见。我无法解释的逻辑背后，但我的代码运行正常，当我更换

remDr <- remoteDriver(remoteServerAddr = "192.168.99.100", port = 4445L, 
                       browserName = "chrome")

通过

remDr <- remoteDriver(port = 4445L) 

并使用Firefox浏览器，而不是浏览器。