① 项目背景:数据库写入从 600MB/s 掉到 80MB/s
稀土高新区某企业 ERP 数据库服务器,月初结账卡得业务员骂人。iostat 看 w/s 只有 1200,await 38ms,阵列卡日志报 BBU failed。拆开看,LSI MegaRAID 9260-8i 上的电池包鼓包,2017 年的镍氢电池,早就过了三年寿命。
② 咨询设计:电池坏了,策略自动降级
RAID 卡检测到电池失效会强制把 Write-Back 切成 Write-Through,所有写必须落盘才返回,4KB 随机写延迟直接从 0.3ms 涨到 4ms。方案两条:换原厂电池包(约 800 元,等 3 天),或换带超级电容的 CacheVault 模块(CVFM02,断电靠电容把 1GB 缓存刷到 NAND,免维护)。客户选了超级电容,虽然贵一倍,但不用两年换一次电池。
③ 施工规划:断电、放电、刷固件
停机窗口定在周日 0-4 点。先备份配置(storcli /c0 show config file),关机断电,等电容指示灯灭(约 3 分钟),拆卡换模块,注意排线方向。开机进 storcli 确认 CacheVault 状态 Optimal,再把默认策略改回 WB,Direct IO 开,No Read Ahead 对数据库更合适。固件从 12.12 升到 12.15,走 staged 升级。
④ 安全补丁:带外管理口是最大的洞
这台戴尔 R720 的 iDRAC 还开着默认密码 calvin,公网能访问。我改强密码 + 限制源 IP,关掉 IPMI over LAN,BMC 单独 VLAN。很多客户只盯着系统补丁,但实际上 iDRAC 进去能挂虚拟介质重启,比系统漏洞更直接。顺手把 BIOS 密码设了,防物理接触改启动项。
⑤ 验收交付:结账场景压测
用 fio 跑 4KB 随机写 70/30 混合:IOPS 从 3.2 万回到 11.8 万,带宽 620MB/s,await 0.42ms。真实结账跑一遍,原来 47 分钟,现在 9 分钟。storcli 日志无异常,电容充电时间 4 分 20 秒,符合规格。
顺手把队列深度从 32 调到 256,开 NCQ,文件系统挂载加 noatime;SQL Server 的数据文件与日志分到两组盘,日志走 RAID 1 的 SSD。机房温度 28℃ 时电池仓温度 41℃,散热风道被防尘网堵了一半,清完降到 34℃。电池类故障一半是热死的,不是用坏的。
另外确认了超级电容的充电逻辑:上电后约 4 分钟不提供写缓存保护,这期间策略仍是 Write-Through,别开机就压测,要等 storcli 报 Optimal。电容寿命约 5 年,容量掉到 70% 告警。机房 PUE 1.9,冷通道封闭后回风从 32℃ 降到 27℃。
备件架上留一块同型号电容模块,坏了直接换。阵列卡固件与驱动版本要做台账,升级前先看 release note 的已知问题,别拿生产机试。
⑥ 售后承诺:备件我们常备
常用阵列卡电池、超级电容模块本地有库存,不用等外地发货。2 小时到场,17704868686,过年也接。提醒:电池鼓包别凑合用,Write-Through 拖垮的是整个业务。
【不舍昼夜技术 · 包头IT全生命周期服务】
业务全闭环:咨询规划、方案设计、工程实施、竣工验收、维保售后。
咱能干的:包头修电脑/装监控/拉网线/做系统/救数据/办软件/卖耗材。
技术范畴:5G通信、大数据服务、信息系统集成、网络安全、商用密码、平面设计。
服务区域:昆区、青山区、九原区、东河区、高新区等包头全境,随叫随到。
技术热线:17704868686(本地专业团队,不舍昼夜为您守候!)