yangshan.link / 山之志 · 后端工程笔记

首页/文章/Gen10 Plus 风扇调教

家用服务器 · 硬件调优

MicroServer Gen10 Plus 调教实录:风扇为什么会突然起飞,以及 PL2 怎么设

一台放在家里的小服务器,平时安静,一跑满就像吹风机。花了一天把功耗墙、睿频、iLO 风扇策略逐个量了一遍,最后只改了一个数:PL2 从 112W 降到 90W。

先说结论:这台机器风扇"突然起飞"的元凶,是负载刚开始那几十秒的 PL2 短时睿频——功耗从 2W 瞬间冲到 110W,iLO 读到的 CPU 温度几秒内窜升,风扇被直接拉满。把 PL2 从 BIOS 默认的 112W 压到 90W,全核持续频率一点没掉(都是 ~4.12GHz),风扇峰值从 100% 降到 62%,十几秒就回落。

下面是完整的测量过程。所有数字都来自这台机器的实测,脚本和原始数据都留着。

机器

项配置
机型HPE ProLiant MicroServer Gen10 Plus(BIOS U48,2020-10-27;iLO 5 固件 3.22)
CPUIntel Xeon E-2236:6 核 12 线程,基础 3.4GHz,最高睿频 4.8GHz,12MB L3,TDP 80W
内存16GB DDR4-2666 ECC UDIMM(HPE 879527-091)×1(2 槽用了 1 槽,最大支持 32GB),系统可用约 15GiB
存储NVMe 240GB 系统盘 + 4×500GB 7200 转机械盘(mdadm RAID10)
散热CPU 被动散热片 + 机箱后部单个系统风扇,由 iLO 控速,没有转速传感器,只能读占空比(DutyCycle %)
系统Ubuntu 26.04,内核 7.0,intel_pstate 驱动,HWP 由 BIOS 开启
工具stress-ng(matrixprod)、turbostat、ipmitool、msr-tools、ilorest

E-2236 的睿频档位是按活跃核数分的:1 核 4.8、2–3 核 4.7、4–5 核 4.6、6 核 4.5GHz。BIOS 里的 RAPL 默认值是 PL1 80W(长期,时间窗约 28 秒)、PL2 112W(短时)。

测量方法

每档负载用 stress-ng --cpu N --taskset 0..N-1 绑核(CPU 0–5 是物理核,6–11 是超线程),同时 turbostat 每秒记功耗 / 温度 / 频率,另起一个循环每 1–2 秒用 ipmitool sensor reading 读风扇占空比和 iLO 的 CPU 温度。每档跑 75–90 秒,档间冷却到风扇回到空闲。

第一步:阶梯压测,摸清基线

1 到 12 线程逐档加,BIOS 默认设置(PL1 80W / PL2 112W,thermald 运行中):

线程稳定频率稳定功耗核心最高温风扇峰值风扇稳定
14.62 GHz31 W80 °C16 %12 %
24.59 GHz49 W88 °C45 %24 %
34.59 GHz67 W93 °C64 %36 %
44.48 GHz77 W92 °C76 %55 %
54.33 GHz78 W92 °C73 %38 %
64.14 GHz79 W95 °C62 %26 %
7–124.12–4.13 GHz77–78 W96–98 °C56–73 %26–34 %

三个第一眼就能看出来的现象:

单核方面,实测 1 线程 4.62GHz,比标称的 4.8GHz 低。读 MSR 0x64F(Core Perf Limit Reasons)看到的是 Max Turbo Limit 和 Turbo Transition Attenuation 两个位,是 Intel 自己的睿频策略在压,不是温度也不是功耗,所以这部分调什么都没用,开盖换液金也没用。

第二步:想降功耗,却发现设置"不生效"

第一个想法很直接:把 PL1 从 80W 降到 70W,少点热量,风扇自然安静。往 /sys/class/powercap/intel-rapl:0/constraint_0_power_limit_uw 写入,读回来是 70W,MSR 0x610 也对——但满载功耗还是 80W。又试了 MSR 0x65C(PSys 平台功耗限制),一样:写进去,不执行。

挨个排查过的东西:

手段结果
RAPL PL1(sysfs / MSR 0x610)读回正确,但不生效(后来发现是 thermald 的问题,见下)
MSR 0x65C(PSys 平台限制)写入成功,无效果
MCHBAR + 0x59A0(MMIO 功耗限制)本来就是禁用状态
MSR 0x1AD(按核数的睿频倍频表)锁死。MSR 0xCE bit28=0,非 K 的 Xeon 不可编程,写入被静默忽略
cpufreq scaling_max_freq有效,但是全局的,1–3 核的睿频也一起被压
BIOS / iLO 选项用 ilorest 拉了全部 149 个 BIOS 属性:没有 PL1/PL2/TDP 项;iLO 整机功率封顶需要 Advanced 授权

频率上限这条路是通的,而且效果出奇地好。这颗 CPU 在 4.2GHz 以上电压曲线很陡:

负载频率上限功耗核心温度
4 线程不限(4.48)77 W88–92 °C
4 线程4.3 GHz61–63 W83–85 °C
4 线程4.2 GHz58 W82 °C
4 线程4.0 GHz50 W77 °C
6 线程4.0 GHz71 W84 °C
12 线程3.8 GHz62 W80 °C

4 线程从 4.48 降到 4.3GHz,频率只少 4%,功耗少 14W,风扇稳定值从 55% 掉到 14%。但代价是单核也只能到 4.3GHz——日常大部分时间是轻负载,这个不划算。

转折:真正在改功耗墙的是 thermald

后来为了"听"风扇在不同转速下的声音,我写了个闭环:固定 4 线程负载,按风扇读数慢慢调功耗。跑着跑着发现 PL1 自己变成了 56W,时间窗 1 秒——而且这次是真的生效了。

没人动过它。查下来是 Ubuntu 默认装的 thermald:温度高了它会自己改写 RAPL 限制,温度降了再改回去。前面"写了 70W 不生效",很可能就是被它覆盖了。停掉 thermald、把时间窗也设成 1 秒之后,PL1 能精确地控在设定值 ±1W。

坑。只看读回值会骗人——sysfs 和 MSR 都显示你写进去的数,但实际功耗可能完全不是那么回事。验证 RAPL 设置一定要上负载、用 turbostat 看 PkgWatt,必要时读 MSR 0x64F 确认当前是谁在限频(bit10 = PL1,bit11 = PL2)。

第三步:风扇到底跟什么走

iLO 不提供手动设定风扇转速的接口,只能用负载去"推"它。用 PL1 定功耗、每分钟 ±1W 慢慢调,4 线程持续负载下风扇和功耗的对应关系:

持续功耗风扇(稳定后)主观感受
66 W16–18 %和空闲(13%)几乎一样
68 W~39 %能听见,不烦
71–73 W42–45 %还行
75–76 W50–51 %能接受的上限
77 W55 %默认设置 4 核满载的状态

两个规律:一是风扇跟的是持续功耗,而且反应慢,功耗变化后要一两分钟才稳定;二是功耗缓慢上升时风扇也平滑上升,从 66W 一路加到 76W,一次都没跳。

可同样是 70W 左右,用频率上限去控制的时候,风扇却会在 21% 和 69% 之间来回横跳。区别在于变化的速度:频率每档 100MHz 对应约 8W,功耗是阶跃的。回头翻阶梯压测的数据也一样——每一档刚加负载的 8–16 秒内,iLO 读到的 CPU 温度从 40°C 窜到 50–58°C,风扇随之猛拉。哪怕限频 4.3GHz、4 线程全程只有 63W,风扇也从 18% 冲到了 53%。

也就是说 iLO 的策略大致是:温度升得快 → 先猛拉风扇兜底 → 温度稳住后退回和持续功耗对应的转速。

第四步:验证"超过 80W 风扇会更激进"

那开头冲刺的功率高低,对这次"猛拉"影响有多大?做了一组对照:6 线程从空闲突然满载 90 秒,thermald 停掉,A 组保留 BIOS 默认 PL2 112W,B 组把 PL2 压到 80W,A B A B 交替各跑两次。

组开头功耗之后功耗风扇峰值风扇 ≥50% 持续第 70 秒风扇
A1(PL2 112W)110 W80 W100 %48 s38 %
A2(PL2 112W)110 W80 W100 %47 s45 %
B1(PL2 80W)76 W76 W53 %5 s14 %
B2(PL2 80W)76 W76 W48 %0 s13 %

差别非常明显。A 组就是"突然起飞"的那种声音:风扇 100% 持续二十多秒,接近一分钟才降下来。B 组听起来是平滑的,满载还没结束风扇就已经回到空闲水平了。

A 组的功耗曲线也正好说明了是谁在管:前 35 秒稳定在 ~110W(PL2 112W 顶着,A2 那次核心温度几次碰到 100°C,温度保护在微调),第 36 秒精确地掉到 79.8W 并保持——这是 PL1 的时间窗到了,是功耗墙在收,不是温度墙。A1 全程最高才 95°C,同样在第 36 秒掉下来。

Figure 01 · 突然满载时的风扇曲线

100%75%50%25%0% 0s20s40s60s80s100s 负载结束 A:PL2 112W(默认)· 6 线程 最终:PL1 80 / PL2 90W · 12 线程 B:PL2 80W · 6 线程

同样从空闲突然满载。默认 PL2 下风扇拉满二十多秒;PL2 80W 时峰值约 50% 且很快回落;最终选的 90W 介于两者之间。

第五步:定方案

B 组(PL2 80W)最安静,但我想给开头留一点冲刺余量,最后定的是 PL1 80W / PL2 90W,并关掉 thermald。12 线程满载试听:

BIOS 默认PL1 80W / PL2 90W
开头功耗85–110 W(thermald 开着时约 85–90W,关掉时 110W)~87 W
开头频率(全核)~4.21 GHz~4.11 GHz
持续功耗 / 频率78 W / 4.12 GHz80 W / 4.12–4.13 GHz
核心最高温97–98 °C91 °C
风扇峰值56–100 %62 %,36 秒后 51%,之后 40% 出头
1–4 核负载完全不受影响(功耗本来就在 80W 以内)

性能上的代价,只有全核负载开头那一段每秒慢约 2%,持续阶段完全一样。主观感受是"有噪音但能接受,而且十几秒就降下来了"。

因为 BIOS 和 iLO 都没有地方设 PL2,只能开机时由系统写进去:

# /usr/local/sbin/cpu-power-limits.sh
R=/sys/class/powercap/intel-rapl:0
echo 80000000 > $R/constraint_0_power_limit_uw   # PL1 80W,时间窗保持默认 ~28s
echo 90000000 > $R/constraint_1_power_limit_uw   # PL2 90W(默认 112W)

# /etc/systemd/system/cpu-power-limits.service
[Service]
Type=oneshot
ExecStart=/usr/local/sbin/cpu-power-limits.sh
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target

# thermald 会自己改写 RAPL,必须关掉;CPU 自带的 100°C 过热保护仍然在
systemctl disable --now thermald && systemctl mask thermald
systemctl enable --now cpu-power-limits.service

顺便回答几个问题

开盖换液金有用吗?

基本没用

全核频率是被 80W 功耗墙按住的,不是温度。降 10°C 最多多出 50–100MHz,单核上不去 4.8 是 Intel 睿频策略的问题。为这点收益冒 Xeon 开盖的风险不值。

iLO 里切"操作系统控制模式"?

意义不大

当前"动态省电模式"下 HWP 已经交给 intel_pstate,频率上限、EPP 都能调。风扇永远是 iLO 管,换哪个模式都不能手动设转速。

BIOS 风扇策略改"增强散热"?

反方向

能把核心温度压低一些,但风扇只会更吵。想安静,要动的是热量来源——功耗,尤其是开头那一下。

一句话结论

风扇怕的不是功耗高,是功耗突然变高

PL2 从 112W 降到 90W:全核持续频率不变,开头只慢约 2%,风扇峰值从 100% 降到 62%。

回头看,这一天里最费时间的不是测量,而是"设置明明写进去了为什么不生效"——答案是系统里有另一个进程在悄悄改它。调硬件参数之前,先确认没有别人也在调。

← 上一篇JVM 线上 CPU 飙高排查