① 项目背景
青山区一家物流公司的戴尔PowerEdge R740,每天凌晨3点前后来一次自动重启,连续第九天。时间点卡在数据库备份任务窗口,运维以为是备份任务把系统压崩了,把备份挪到中午,结果重启跟着挪到了中午——机器在几点重启,完全看任务什么时候跑满内存。
② 咨询诊断
我们进门第一件事不是看系统,而是进iDRAC看System Event Log:日志里密密麻麻的Memory MCE事件,ECC可纠正错误累计超过800次,集中在同一条内存的同一个DIMM插槽。很多人以为ECC内存能纠错就没事,实际上可纠正错误的频率本身就是故障前兆——错误率呈指数增长时,迟早超出纠错能力变成不可纠正错误,触发服务器保护性重启。进入Windows看事件日志,WHEA-Logger事件ID 18和19与iDRAC记录时间完全吻合,证据链闭合。拔出该32GB DDR4-2666 ECC RDIMM检查,金手指有氧化发黑痕迹,内存条本身颗粒故障。
③ 处置施工
R740双路至强,内存插法有讲究:必须按白金手册的配对顺序,两条成对插在白槽优先位,同色插槽走同一个内存控制器通道,插错位置轻则降频跑2666以下,重则开机报内存配置错误。更换同规格内存后重新校验插槽配平,开机进LifeCycle做完整的内存自检,四个通道逐一点亮确认。顺手把iDRAC固件和BIOS升到官方最新版,旧版本对ECC过度纠错的处理策略有缺陷,这也是我们后来复盘同类案例时反复验证过的点。另外把公司那台老R630也顺手做了一次SEL日志检查,发现两条不同插槽的内存错误率在缓慢爬升,提前换了备件——这台要是不查,下个月就是同样的凌晨重启剧本。整体计划是观察30天,SEL日志归零才算结案。
④ 安全补丁
排查中发现两个不能忍的问题:iDRAC还在用出厂默认账号密码root/calvin,且管理口直接挂在办公网——拿到它等于拿到服务器带外控制权。当场改掉强密码,iDRAC地址收进内网管理VLAN,只允许运维跳板机访问。另外这家公司备份任务只做单份本地盘备份,我们补了一层异地备份策略,数据库每日差异备份推送到另一机房的NAS,3-2-1原则起码先满足个七成。
⑤ 验收交付
更换后连续30天零重启,SEL新增事件为零,ECC错误计数停留在更换前数值不再增长。给运维留了一份监控方案:用Zabbix采集iDRAC的内存可纠正错误速率,设置周增长率超过50次就告警,把下次故障拦在重启之前。培训讲了怎么读MCE事件和怎么区分内存、CPU内存控制器、插槽三类故障源。
⑥ 售后承诺
服务器夜间故障最熬人,我们承诺2小时到场,常备ECC内存条和电源模块备件。大年三十随叫随到:17704868686,终身免费咨询。下次服务器再莫名重启,先别重装系统,把日志导出来发我。
【不舍昼夜技术 · 包头IT全生命周期服务】
业务全闭环:咨询规划、方案设计、工程实施、竣工验收、维保售后。
咱能干的:包头修电脑/装监控/拉网线/做系统/救数据/办软件/卖耗材。
技术范畴:5G通信、大数据服务、信息系统集成、网络安全、商用密码、平面设计。
服务区域:昆区、青山区、九原区、东河区、高新区等包头全境,随叫随到。
技术热线:17704868686(本地专业团队,不舍昼夜为您守候!)