【稀土高新区】双路服务器性能只有单路一半?NUMA调度与内存绑定

【项目背景】

稀土高新区一家做工业软件的公司,去年上了一台双路EPYC服务器跑CAE仿真,验收时跑分比宣传的「双路理论性能」差了一大截,厂商工程师上门测了半天,结论是「正常,都这样」。他们不甘心,同一批的单路小机器跑同样的任务,折算下来单路反而更高效。我们拿到数据一看:双路机器的任务里,一半的线程在访问「另一路」的内存——NUMA架构下,跨路访问内存的延迟是本地访问的两倍,任务调度器没做亲和性,线程在两路之间横跳,性能直接打对折。很多工程师觉得双路就是单路的两倍,实际上NUMA的「跨路税」不交清楚,买回来的核有一半在排队。

【咨询设计】

优化方案按「任务画像」来:先跑一周的基准,用perf和numastat把任务的内存访问模式画出来,确认这个CAE任务是典型的「每线程大块本地内存」型,最适合做严格的NUMA绑定。对策三件套:一是CPU亲和性,任务的线程组绑定到单路的所有核,两路跑两组任务而不是一个任务摊两路;二是内存策略,对绑定的任务组设membind,内存只在本地路分配,彻底消灭跨路访问;三是后台服务隔离,数据库和虚拟化的后台进程单独划核,避免和仿真任务抢同一路的内存带宽。双路服务器的两个任务跑满两路,总吞吐反而比「一个任务摊两路」高出四成——反直觉,但数据说话。

【施工规划】

实施分三步,全程在业务低峰:第一步做基线复测,把优化前的跑分、内存带宽、跨路访问占比三组数据固定下来;第二步上绑定策略,用numactl做任务级绑定,调度脚本里固化参数,重启不丢;第三步做隔离,后台进程组单独绑到路一的八个核,路二留给仿真任务专用。调优过程中发现一个隐藏问题:网卡的中断全默认落在路一的核上,路二的任务收数据要跨路,顺手把网卡中断做了双路分摊。全部调完,同样的测试场景,吞吐从原来的基线提升百分之四十二,跨路内存访问占比从百分之五十三降到百分之三。

【安全补丁】

调性能的同时把管理面也收了:这台服务器的BMC(带外管理口)原来开着公网映射,运维图省事远程看温度,我们撤掉了映射,BMC只在内网可达,管理账号换了强密码加双因子;系统侧把SSH的密钥登录收紧,只留两个运维账号,密码登录禁用;服务器的时间同步走内网NTP,仿真任务的时间戳是出报告的依据,时间源不能飘。性能报告里我们加了一节「NUMA调优说明」,写清楚绑定策略和回退方法,以后换操作系统或升级内核,照说明重配就行,不用重新摸索。

【验收交付】

验收以业务指标为准:同一批仿真任务,双路服务器的总完成时间比优化前缩短三成以上,单任务效率达到单路机器的水平;numastat的跨路访问数据、perf的热点分析两份报告交付存档。给他们的运维做了半天培训:怎么读numastat、怎么验证绑定生效、绑定失效的排查顺序。老板看着优化前后的对比曲线说了句:原来双路一半的核在「排队上厕所」。

【售后承诺】

服务器性能类服务承诺调优参数每季度复核一次(业务变了画像就变),故障2小时响应、4小时到场,重大任务前可预约性能压测。大年三十拨17704868686照样有人管,终身免费技术咨询。核不是买了就赚了,调度对了才是真的。

【不舍昼夜技术 · 包头IT全生命周期服务】
业务全闭环:咨询规划、方案设计、工程实施、竣工验收、维保售后。
咱能干的:包头修电脑/装监控/拉网线/做系统/救数据/办软件/卖耗材。
技术范畴:5G通信、大数据服务、信息系统集成、网络安全、商用密码、平面设计。
服务区域:昆区、青山区、九原区、东河区、高新区等包头全境,随叫随到。
技术热线:17704868686(本地专业团队,不舍昼夜为您守候!)

上一篇 【青山王府井】商场促销活动舞台音响一套乱?舞台音视整合与配电调度
下一篇 【青山区】办公电脑天天弹窗?广告拦截与DNS调度治理