ceph rbd与docker卷

Question

我只是在两个不同的服务器中初始化ceph实例

cluster 241b5d19-15f5-48be-b98c-285239d70038
 health HEALTH_WARN
        64 pgs degraded
        64 pgs stuck degraded
        64 pgs stuck unclean
        64 pgs stuck undersized
        64 pgs undersized
 monmap e3: 2 mons at {serv1=10.231.69.9:6789/0,serv2=10.231.69.34:6789/0}
        election epoch 6, quorum 0,1 serv1,serv2
    mgr no daemons active
 osdmap e10: 2 osds: 2 up, 2 in
        flags sortbitwise,require_jewel_osds,require_kraken_osds
  pgmap v22: 64 pgs, 1 pools, 0 bytes data, 0 objects
        68292 kB used, 1861 GB / 1861 GB avail
              64 active+undersized+degraded

只有mon和osd（我没有设置mds，rgw或CephFS）。

我会使用rbd为容器卷创建一个持久的共享存储，但我真的很困惑如何在docker中插入我的osd。

我看到一些rbd docker插件存在：

1. https://github.com/yp-engineering/rbd-docker-plugin
2. https://github.com/AcalephStorage/docker-volume-ceph-rbd
3. https://github.com/contiv/volplugin

但似乎没有一个与最新的docker版本或至少>= 1.13兼容。

因此我问自己如何才能实现我想要的东西，我想到了一些解决方案，但我真的不确定哪个是最好的（或者即使它是可能的）。

1. 使用CephFS +标准docker文件系统安装卷
2. 使用rexray（flocker不再维护）
3. 安装Ceph对象网关S3并使用现有的docker S3插件
4. 其他？

但是1.解决方案似乎不够优雅，并且在更大的环境（超过2台服务器）中更难管理。

而2.解决方案似乎是一个很好的起点，但任何人都有反馈？

Answer 1

4. 您可以使用适用于RBD卷的v2插件扩展Docker Engine。

Docker volume plugin for RBD适用于Docker Engine v2插件系统。 （我们在Swarm集群中使用它）

这里摘自自述文件：

install the plugin:

docker plugin install wetopi/rbd \
  --alias=wetopi/rbd \
  LOG_LEVEL=1 \
  RBD_CONF_POOL="ssd" \
  RBD_CONF_CLUSTER=ceph \
  RBD_CONF_KEYRING_USER=client.admin

create a volume:

docker volume create -d wetopi/rbd -o size=206 my_rbd_volume

docker volume ls
DRIVER              VOLUME NAME
local               069d59c79366294d07b9102dde97807aeaae49dc26bb9b79dd5b983f7041d069
local               11db1fa5ba70752101be90a80ee48f0282a22a3c8020c1042219ed1ed5cb0557
local               2d1f2a8fac147b7e7a6b95ca227eba2ff859325210c7280ccb73fd5beda6e67a
wetopi/rbd          my_rbd_volume

run a container with rbd volume:

docker run -it -v my_rbd_volume:/data --volume-driver=wetopi/rbd busybox sh

Answer 2

从你提供的ceph -s的输出看来，你创建了一个带有2个节点的ceph集群，每个节点都有一个osd。默认情况下，ceph使用的是大小（复制次数n）为3.这是推荐值。您可以将大小更改为2，将最小大小更改为1，但除了作为ceph的操场之外，您还可以将此设置用于其他任何操作。

Ceph应至少在相同配置的至少3个节点上运行。相同的内容包括：CPU，RAM，OSD计数（每个CPU核心一个OSD）。对于中等流量，也可以将mons放在这三个节点上。强烈建议使用10GBit节点互连。