【稀土高新区】凌晨两点ERP打不开?存储多路径震荡与RCA定位

① 项目背景

凌晨两点十七分,稀土高新区某企业ERP全线卡死,值班运维重启了应用服务器,好了二十分钟又挂。早上我到现场,ESXi主机日志里一片vmkwarning,存储设备状态在active和dead之间反复跳。这不是应用的问题,是存储链路在震荡,多路径软件不停地切路径,每次切换业务就卡一次。

② 咨询设计

先做RCA,不猜。查esxcli storage nmp device list,看到naa.6000开头的LUN,路径状态一条active一条dead;查光模块DDM,接收光功率-14.8dBm,而这块8G FC模块的灵敏度是-14.0dBm,已经在门限边缘;再查交换机端口计数,C3丢弃包持续增长。结论:跳线端面污染加一条尾纤弯折半径过小,导致误码,多路径反复切换。方案是换跳线、清端面、固定走线,同时把多路径策略从固定改为round robin,iops限制设1。

③ 施工规划

存储链路改动必须停机窗口。我们约在周日凌晨,先备份ESXi配置,再逐条链路操作:拔跳线、用一按式清洁笔清端面、换新LC-LC单模跳线、测光功率,两条链路都做到-6dBm以内才继续。光纤在机柜里原来盘成直径5厘米的小圈,全部改成直径20厘米以上大圈,用魔术贴固定。交换机端口做一次错误计数清零,观察两小时无增长再恢复业务。

④ 安全补丁

存储网是很多人忽略的暗区。这台ESXi的管理口和存储口在同一个网段,管理界面还开着SSH,密码是八位纯数字。我们把存储网独立VLAN,管理口只允许运维跳板机访问,SSH用完即关;iSCSI如果以后要用,必须开CHAP认证。另外,vCenter的日志原来只留了七天,出了事根本查不到两小时前发生了什么,改成集中日志服务器保存180天,这次RCA能定位得这么快,靠的就是交换机计数器。

⑤ 验收交付

路径切换测试做了三次,每次手动disable一条链路,业务无感,切换时间8秒以内,比原来的40多秒好太多。连续跑72小时,存储错误计数为0。ERP月结批处理原来要2小时10分,现在1小时48分。交付了一份RCA报告,时间线精确到秒,附光功率测试记录和交换机端口计数截图。

⑥ 售后承诺

存储故障我们承诺2小时到场,跳线、光模块常备。大年三十出问题也是这个电话,17704868686。终身免费咨询,看到路径反复active/dead,先测光功率,别急着换HBA卡。

【不舍昼夜技术 · 包头IT全生命周期服务】
业务全闭环:咨询规划、方案设计、工程实施、竣工验收、维保售后。
咱能干的:包头修电脑/装监控/拉网线/做系统/救数据/办软件/卖耗材。
技术范畴:5G通信、大数据服务、信息系统集成、网络安全、商用密码、平面设计。
服务区域:昆区、青山区、九原区、东河区、高新区等包头全境,随叫随到。
技术热线:17704868686(本地专业团队,不舍昼夜为您守候!)

上一篇 【青山王府井】商场专柜POS总提示连接超时?收银VLAN与外设串口映射
下一篇 【青山区】外包运维能翻客户数据?堡垒机与数据库审计