强制CEPH同步和CEPH更新建议

Question

我们使用CEPH群集来存储虚拟机的映像。该群集包含3个监视器，4个存储节点和1个管理员。

CEPH OSD TREE

ID WEIGHT   TYPE NAME       UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 21.82190 root default
-2  5.45547     host ceph01
 0  1.09109         osd.0        up  1.00000          1.00000
 1  1.09109         osd.1        up  1.00000          1.00000
 2  1.09109         osd.2        up  1.00000          1.00000
 3  1.09109         osd.3        up  1.00000          1.00000
 4  1.09109         osd.4        up  1.00000          1.00000
-3  5.45547     host ceph02
 5  1.09109         osd.5        up  1.00000          1.00000
 6  1.09109         osd.6        up  1.00000          1.00000
 7  1.09109         osd.7        up  1.00000          1.00000
 8  1.09109         osd.8        up  1.00000          1.00000
 9  1.09109         osd.9        up  1.00000          1.00000
-4  5.45547     host ceph03
10  1.09109         osd.10       up  1.00000          1.00000
11  1.09109         osd.11       up  1.00000          1.00000
12  1.09109         osd.12       up  1.00000          1.00000
13  1.09109         osd.13       up  1.00000          1.00000
14  1.09109         osd.14       up  1.00000          1.00000
-5  5.45547     host ceph04
16  1.09109         osd.16     down        0          1.00000
17  1.09109         osd.17     down        0          1.00000
18  1.09109         osd.18     down        0          1.00000
19  1.09109         osd.19     down        0          1.00000
15  1.09109         osd.15     down        0          1.00000

首先，自上次CentO更新以来，我们无法同步我们的第4台服务器。在其他服务器上，更新后没有任何问题。我们尝试与以下对象进行同步：

• nodown选项
• 正在运行的VM
• 停止的VM
• 更改硬盘
• 更改硬盘插槽

有人对重新同步有任何想法或线索吗？

实际上，我们正在考虑为服务器ceph04重新安装CentOS。

第二，我们要更新集群。是否可以在不中断群集使用（VM处于打开状态）的情况下执行此操作？

更多信息

• OS：CentOS Linux release 7.7.1908 (Core)
• CEPH版本：10.2.11
• 某些机器具有较大的磁盘访问权限。

Answer 1

第二，我们要更新集群。是否可以在不中断群集使用（VM处于打开状态）的情况下执行此操作？

是的，有可能。但是我们最终决定关闭所有VM，以加快同步速度。更新会相对较快地完成此操作

有人对重新同步有任何想法或线索吗？

这是iptable的问题。更改iptable规则后，同步再次开始。