鸿鹄论坛 › HCIP学习资料 › 华为OceanStor VIS6600Hima集群脑裂故障解决方案

小乔 发表于 2016-9-19 10:20:30

华为OceanStor VIS6600Hima集群脑裂故障解决方案

问题描述
某局点VIS6600T4节点双活局点，客户配置心跳交换机导致sys和SF集群脑裂， SYS集群脑裂为（0，1）和（2,3）两个集群，SF脑裂成（0,1,3）和（2）两个集群，节点2在脑裂仲裁后重启，0,1,3节点存活，但是此时SYS集群变成了（0,1）和（3）两个集群，节点2重启后，往两个SYS集群发加入请求，加入失败。如图是其中一个节点的状态信息：
http://support.huawei.com/enterprise/product/images/3e9db31bfef64458994d0be742ddd69a





告警信息
无告警信息

处理过程
首先检查SF集群状态：在每一个节点的CLI下执行vxfenadm –d查看集群状态，确保SF集群状态正常，如图所示http://support.huawei.com/enterprise/product/images/9a13697a190141aa98ce4b6d5e8d40a2
其次检查仲裁盘状态：在每一个节点的CLI下执行vxappend shwfendsk查看仲裁盘状态，确保每个节点仲裁盘状态正常，如图所示http://support.huawei.com/enterprise/product/images/30545b48ac05447eb6ade01715dee563
最后重启脑裂的一个集群，切换IO路径，确保要重启的节点的卷上无IO通过在ISM界面上，修改卷归属控制器，将IO切换到不重启的节点上。

根因
由于Hima和SF集群使用的心跳包不一致，SYS心跳使用的是网络层UDP广播包，SF使用的LLT（MAC层的包）心跳包，虽然两个集群判断节点离开集群的标准是心跳丢失8S，但是由于心跳包使用的网络层不同，计时的线程不同，可能导致心跳链路异常时，Hima集群脑裂，VCS（正常的情况，且sys集群执行vxfenadm检查仲裁驱动正常时就不做任何操作,导致心跳恢复后不自动修复。

解决方案

**** Hidden Message *****

sy7527951 发表于 2016-9-19 22:20:24

支持一下~~~

absoult 发表于 2016-9-24 12:47:00

DING~~~~~~~~~~

absoult 发表于 2016-9-24 12:47:20

DING~~~~~~~~~~~~~~~~~~~~

liyou60 发表于 2024-6-3 09:31:03

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:} 为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:} 认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:} 证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:} ，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:09

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:15

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:20

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:26

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:32

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:37

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:44

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:51

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:31:57

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

liyou60 发表于 2024-6-3 09:32:03

华   值    {:6_264:}{:6_265:}{:6_267:}{:6_268:}
为   得    {:6_269:}{:6_273:}{:6_276:}{:6_277:}
认   拥    {:6_278:}{:6_280:}{:6_282:}{:6_283:}
证   有    {:6_285:}{:6_289:}{:6_290:}{:6_291:}
，   ！    {:6_295:}{:6_298:}{:6_299:}{:6_301:}

查看完整版本: 华为OceanStor VIS6600Hima集群脑裂故障解决方案