Julia集群使用docker

Question

我正在尝试使用默认的SSHManager连接到docker容器。这些容器只有一个正在运行的sshd，具有公钥认证和julia安装。

这是我的dockerfile：

FROM rastasheep/ubuntu-sshd
RUN apt-get update && apt-get install -y julia
RUN mkdir -p /root/.ssh
ADD id_rsa.pub /root/.ssh/authorized_keys

我使用以下命令运行容器：

sudo docker run -d -p 3333:22 -it --name julia-sshd julia-sshd

然后在主机上，使用julia repl，我收到以下错误：

julia> import Base:SSHManager
julia> addprocs(["root@localhost:3333"])
stdin: is not a tty
Worker 2 terminated.
ERROR (unhandled task failure): EOFError: read end of file
Master process (id 1) could not connect within 60.0 seconds.
exiting.

我已经测试过我可以通过ssh连接到容器而无需密码。

我还测试了在julia repl中我可以添加一个安装了julia的常规机器到集群，它工作正常。

但我无法让这两件事情共同发挥作用。任何帮助或建议都会被贬低。

Answer 1

我建议您也在Docker容器中部署Master。它使您的环境轻松且完全可重复。

我正在开发一种按需在Docker容器中部署Worker的方法。即，部署在容器中的Master可以进一步部署DockerizedJuliaWorkers。它类似于https://github.com/gsd-ufal/Infra.jl，但假设Master和Workers在同一主机上运行，​​这使事情变得不那么难。

这是一项正在进行的工作，我计划在下周完成。简而言之：

1）你需要一个简单的DockerBackend和一个包装器来透明地运行容器，设置SSH，并调用带有所有低级参数的addprocs（即DockerizedJuliaWorker.jl文件）：

https://github.com/NaelsonDouglas/DistributedMachineLearningThesis/tree/master/src/docker

2）在这里阅读如何构建Docker镜像（包括Dockerfile）：

https://github.com/NaelsonDouglas/DistributedMachineLearningThesis

如果您对如何改进它有任何建议，请告诉我。

最好，

安德烈拉格。