2026年4月某个周六下午2点，不舍昼夜技术团队接到九原区某数据中心紧急电话：机房精密空调报故障停机，温度正在快速上升，20台服务器即将过热关机。
从接到电话到恢复温度可控，全程3小时40分钟。以下是完整的应急处置记录。
一、故障发生
该数据中心位于九原区某企业园区内，机房面积约80㎡，部署20台机架服务器+2台存储阵列+2台核心交换机。制冷采用2台艾默生PEX-P30精密空调（一主一备运行模式）。
14:00，值班人员发现：
- 主空调PEX-P30-A控制面板显示高压告警，压缩机停机
- 备用空调PEX-P30-B未自动切换（排查发现切换模块故障）
- 机房温度从22℃快速攀升至31℃，湿度降至18%
- iDRAC/iLO管理口开始发出温度告警邮件，多台服务器CPU温度突破80℃
二、应急响应（14:00-14:30）
- 远程研判：通过iDRAC远程查看服务器温度，5台Dell R740的CPU温度已达85-92℃，接近thermal throttle阈值（95℃）
- 紧急措施1——降低负载：通过vCenter将非关键业务VM迁移至另外3台温度较低的服务器，关闭5台高负载服务器的非关键VM，降低发热量约40%
- 紧急措施2——手动切换备用空调：电话指导值班人员手动将备用空调从待机切换至运行模式，PEX-P30-B启动但运行10分钟后也报高压告警停机
- 紧急措施3——开门通风：打开机房门和窗户（机房在一楼），用2台工业风扇从门口向机架吹风
三、到场处置（14:30-16:00）
14:30工程师到场，开始排查空调故障：
- 检查冷凝器：到室外检查，发现2台空调的室外冷凝器被柳絮+灰尘完全堵死——4月包头柳絮季，冷凝器翅片间被毛絮堵塞，散热效率趋近于零，导致高压保护
- 紧急清理：用压缩空气从内向外吹扫冷凝器翅片，配合软毛刷清理柳絮，每台冷凝器清理出约2斤柳絮灰尘混合物
- 重启主空调：清理完毕后重置高压保护，PEX-P30-A启动成功，运行10分钟后出风温度降至14℃，高压压力正常（1.6MPa）
- 重启备用空调：同样清理后PEX-P30-B启动正常，双空调同时运行
四、温度恢复（16:00-17:40）
- 15:30 双空调运行后，机房温度开始以约2℃/15分钟的速度下降
- 16:30 机房温度降至26℃，逐步恢复迁移走的VM
- 17:40 机房温度稳定在22℃，所有业务恢复正常
五、后续整改
- 冷凝器防护：在室外冷凝器进风侧加装不锈钢过滤网（目数20），每周检查清理
- 备机切换修复：更换PEX-P30-B的自动切换控制板，确认主备自动切换功能正常
- 告警升级：在Zabbix中配置机房温度告警多级阈值：26℃提醒→30℃告警→35℃紧急，告警推送到值班手机+企业微信群
- 应急预案：编写《机房空调故障应急预案》，包含手动切换步骤、负载降级策略、应急散热方案
六、教训总结
- 精密空调的室外冷凝器是最容易被忽略的维护点，尤其在包头4-5月柳絮季
- 主备自动切换一定要定期测试，否则真故障时发现备机切不过来
- 机房温度告警不能只靠空调面板，必须有独立的温度监控+告警推送
机房空调故障是最典型的”温水煮青蛙”——温度慢慢升到你发现时已经来不及了。不舍昼夜技术提供包头本地机房运维7×24应急响应，热线17704868686，随时待命。
【不舍昼夜技术 · 包头IT一站式服务】
- 🖥️ 电脑/服务器：重装系统、硬件升级、服务器Linux/Windows环境部署
- 💾 数据安全：硬盘/U盘/数据库数据恢复、网络安全加固、病毒清理
- 📷 弱电安防：监控安装、机房建设、综合布线、门禁人脸识别
- 🖨️ 办公耗材：打印机维修、硒鼓墨盒配送、复印机租赁
- 💻 软件开发：企业官网、小程序开发、APP定制、ERP系统
服务单位：内蒙古不舍昼夜技术有限公司
业务涵盖：电脑维修/系统重装/数据恢复/监控安防/弱电布线/打印耗材
技术热线：17704868686（包头本地团队，随叫随到！）