先说结论:这台机器风扇"突然起飞"的元凶,是负载刚开始那几十秒的 PL2 短时睿频——功耗从 2W 瞬间冲到 110W,iLO 读到的 CPU 温度几秒内窜升,风扇被直接拉满。把 PL2 从 BIOS 默认的 112W 压到 90W,全核持续频率一点没掉(都是 ~4.12GHz),风扇峰值从 100% 降到 62%,十几秒就回落。
下面是完整的测量过程。所有数字都来自这台机器的实测,脚本和原始数据都留着。
机器
| 项 | 配置 |
|---|---|
| 机型 | HPE ProLiant MicroServer Gen10 Plus(BIOS U48,2020-10-27;iLO 5 固件 3.22) |
| CPU | Intel Xeon E-2236:6 核 12 线程,基础 3.4GHz,最高睿频 4.8GHz,12MB L3,TDP 80W |
| 内存 | 16GB DDR4-2666 ECC UDIMM(HPE 879527-091)×1(2 槽用了 1 槽,最大支持 32GB),系统可用约 15GiB |
| 存储 | NVMe 240GB 系统盘 + 4×500GB 7200 转机械盘(mdadm RAID10) |
| 散热 | CPU 被动散热片 + 机箱后部单个系统风扇,由 iLO 控速,没有转速传感器,只能读占空比(DutyCycle %) |
| 系统 | Ubuntu 26.04,内核 7.0,intel_pstate 驱动,HWP 由 BIOS 开启 |
| 工具 | stress-ng(matrixprod)、turbostat、ipmitool、msr-tools、ilorest |
E-2236 的睿频档位是按活跃核数分的:1 核 4.8、2–3 核 4.7、4–5 核 4.6、6 核 4.5GHz。BIOS 里的 RAPL 默认值是 PL1 80W(长期,时间窗约 28 秒)、PL2 112W(短时)。
测量方法
每档负载用 stress-ng --cpu N --taskset 0..N-1 绑核(CPU 0–5 是物理核,6–11 是超线程),同时 turbostat 每秒记功耗 / 温度 / 频率,另起一个循环每 1–2 秒用 ipmitool sensor reading 读风扇占空比和 iLO 的 CPU 温度。每档跑 75–90 秒,档间冷却到风扇回到空闲。
第一步:阶梯压测,摸清基线
1 到 12 线程逐档加,BIOS 默认设置(PL1 80W / PL2 112W,thermald 运行中):
| 线程 | 稳定频率 | 稳定功耗 | 核心最高温 | 风扇峰值 | 风扇稳定 |
|---|---|---|---|---|---|
| 1 | 4.62 GHz | 31 W | 80 °C | 16 % | 12 % |
| 2 | 4.59 GHz | 49 W | 88 °C | 45 % | 24 % |
| 3 | 4.59 GHz | 67 W | 93 °C | 64 % | 36 % |
| 4 | 4.48 GHz | 77 W | 92 °C | 76 % | 55 % |
| 5 | 4.33 GHz | 78 W | 92 °C | 73 % | 38 % |
| 6 | 4.14 GHz | 79 W | 95 °C | 62 % | 26 % |
| 7–12 | 4.12–4.13 GHz | 77–78 W | 96–98 °C | 56–73 % | 26–34 % |
三个第一眼就能看出来的现象:
- 6 线程以上被 80W 功耗墙按死,全核稳定在 ~4.12GHz,再加线程只是把同样的功率摊到更多核上。
- 核心温度 95–98°C,离 TjMax 100°C 很近;但 iLO 自己的
02-CPU 1传感器只读到 ~58–60°C,差了近 40 度。这是正常的——一个是芯片内部最热点(DTS),一个是 iLO 在主板上的估算值。 - 风扇最吵的不是全核,而是 4 线程:功耗 77W 刚好卡在墙下面,热量一直顶着。到 6 线程以上撞墙,风扇反而回到 30% 左右。
单核方面,实测 1 线程 4.62GHz,比标称的 4.8GHz 低。读 MSR 0x64F(Core Perf Limit Reasons)看到的是 Max Turbo Limit 和 Turbo Transition Attenuation 两个位,是 Intel 自己的睿频策略在压,不是温度也不是功耗,所以这部分调什么都没用,开盖换液金也没用。
第二步:想降功耗,却发现设置"不生效"
第一个想法很直接:把 PL1 从 80W 降到 70W,少点热量,风扇自然安静。往 /sys/class/powercap/intel-rapl:0/constraint_0_power_limit_uw 写入,读回来是 70W,MSR 0x610 也对——但满载功耗还是 80W。又试了 MSR 0x65C(PSys 平台功耗限制),一样:写进去,不执行。
挨个排查过的东西:
| 手段 | 结果 |
|---|---|
| RAPL PL1(sysfs / MSR 0x610) | 读回正确,但不生效(后来发现是 thermald 的问题,见下) |
| MSR 0x65C(PSys 平台限制) | 写入成功,无效果 |
| MCHBAR + 0x59A0(MMIO 功耗限制) | 本来就是禁用状态 |
| MSR 0x1AD(按核数的睿频倍频表) | 锁死。MSR 0xCE bit28=0,非 K 的 Xeon 不可编程,写入被静默忽略 |
cpufreq scaling_max_freq | 有效,但是全局的,1–3 核的睿频也一起被压 |
| BIOS / iLO 选项 | 用 ilorest 拉了全部 149 个 BIOS 属性:没有 PL1/PL2/TDP 项;iLO 整机功率封顶需要 Advanced 授权 |
频率上限这条路是通的,而且效果出奇地好。这颗 CPU 在 4.2GHz 以上电压曲线很陡:
| 负载 | 频率上限 | 功耗 | 核心温度 |
|---|---|---|---|
| 4 线程 | 不限(4.48) | 77 W | 88–92 °C |
| 4 线程 | 4.3 GHz | 61–63 W | 83–85 °C |
| 4 线程 | 4.2 GHz | 58 W | 82 °C |
| 4 线程 | 4.0 GHz | 50 W | 77 °C |
| 6 线程 | 4.0 GHz | 71 W | 84 °C |
| 12 线程 | 3.8 GHz | 62 W | 80 °C |
4 线程从 4.48 降到 4.3GHz,频率只少 4%,功耗少 14W,风扇稳定值从 55% 掉到 14%。但代价是单核也只能到 4.3GHz——日常大部分时间是轻负载,这个不划算。
转折:真正在改功耗墙的是 thermald
后来为了"听"风扇在不同转速下的声音,我写了个闭环:固定 4 线程负载,按风扇读数慢慢调功耗。跑着跑着发现 PL1 自己变成了 56W,时间窗 1 秒——而且这次是真的生效了。
没人动过它。查下来是 Ubuntu 默认装的 thermald:温度高了它会自己改写 RAPL 限制,温度降了再改回去。前面"写了 70W 不生效",很可能就是被它覆盖了。停掉 thermald、把时间窗也设成 1 秒之后,PL1 能精确地控在设定值 ±1W。
turbostat 看 PkgWatt,必要时读 MSR 0x64F 确认当前是谁在限频(bit10 = PL1,bit11 = PL2)。
第三步:风扇到底跟什么走
iLO 不提供手动设定风扇转速的接口,只能用负载去"推"它。用 PL1 定功耗、每分钟 ±1W 慢慢调,4 线程持续负载下风扇和功耗的对应关系:
| 持续功耗 | 风扇(稳定后) | 主观感受 |
|---|---|---|
| 66 W | 16–18 % | 和空闲(13%)几乎一样 |
| 68 W | ~39 % | 能听见,不烦 |
| 71–73 W | 42–45 % | 还行 |
| 75–76 W | 50–51 % | 能接受的上限 |
| 77 W | 55 % | 默认设置 4 核满载的状态 |
两个规律:一是风扇跟的是持续功耗,而且反应慢,功耗变化后要一两分钟才稳定;二是功耗缓慢上升时风扇也平滑上升,从 66W 一路加到 76W,一次都没跳。
可同样是 70W 左右,用频率上限去控制的时候,风扇却会在 21% 和 69% 之间来回横跳。区别在于变化的速度:频率每档 100MHz 对应约 8W,功耗是阶跃的。回头翻阶梯压测的数据也一样——每一档刚加负载的 8–16 秒内,iLO 读到的 CPU 温度从 40°C 窜到 50–58°C,风扇随之猛拉。哪怕限频 4.3GHz、4 线程全程只有 63W,风扇也从 18% 冲到了 53%。
也就是说 iLO 的策略大致是:温度升得快 → 先猛拉风扇兜底 → 温度稳住后退回和持续功耗对应的转速。
第四步:验证"超过 80W 风扇会更激进"
那开头冲刺的功率高低,对这次"猛拉"影响有多大?做了一组对照:6 线程从空闲突然满载 90 秒,thermald 停掉,A 组保留 BIOS 默认 PL2 112W,B 组把 PL2 压到 80W,A B A B 交替各跑两次。
| 组 | 开头功耗 | 之后功耗 | 风扇峰值 | 风扇 ≥50% 持续 | 第 70 秒风扇 |
|---|---|---|---|---|---|
| A1(PL2 112W) | 110 W | 80 W | 100 % | 48 s | 38 % |
| A2(PL2 112W) | 110 W | 80 W | 100 % | 47 s | 45 % |
| B1(PL2 80W) | 76 W | 76 W | 53 % | 5 s | 14 % |
| B2(PL2 80W) | 76 W | 76 W | 48 % | 0 s | 13 % |
差别非常明显。A 组就是"突然起飞"的那种声音:风扇 100% 持续二十多秒,接近一分钟才降下来。B 组听起来是平滑的,满载还没结束风扇就已经回到空闲水平了。
A 组的功耗曲线也正好说明了是谁在管:前 35 秒稳定在 ~110W(PL2 112W 顶着,A2 那次核心温度几次碰到 100°C,温度保护在微调),第 36 秒精确地掉到 79.8W 并保持——这是 PL1 的时间窗到了,是功耗墙在收,不是温度墙。A1 全程最高才 95°C,同样在第 36 秒掉下来。
Figure 01 · 突然满载时的风扇曲线
同样从空闲突然满载。默认 PL2 下风扇拉满二十多秒;PL2 80W 时峰值约 50% 且很快回落;最终选的 90W 介于两者之间。
第五步:定方案
B 组(PL2 80W)最安静,但我想给开头留一点冲刺余量,最后定的是 PL1 80W / PL2 90W,并关掉 thermald。12 线程满载试听:
| BIOS 默认 | PL1 80W / PL2 90W | |
|---|---|---|
| 开头功耗 | 85–110 W(thermald 开着时约 85–90W,关掉时 110W) | ~87 W |
| 开头频率(全核) | ~4.21 GHz | ~4.11 GHz |
| 持续功耗 / 频率 | 78 W / 4.12 GHz | 80 W / 4.12–4.13 GHz |
| 核心最高温 | 97–98 °C | 91 °C |
| 风扇峰值 | 56–100 % | 62 %,36 秒后 51%,之后 40% 出头 |
| 1–4 核负载 | 完全不受影响(功耗本来就在 80W 以内) | |
性能上的代价,只有全核负载开头那一段每秒慢约 2%,持续阶段完全一样。主观感受是"有噪音但能接受,而且十几秒就降下来了"。
因为 BIOS 和 iLO 都没有地方设 PL2,只能开机时由系统写进去:
# /usr/local/sbin/cpu-power-limits.sh
R=/sys/class/powercap/intel-rapl:0
echo 80000000 > $R/constraint_0_power_limit_uw # PL1 80W,时间窗保持默认 ~28s
echo 90000000 > $R/constraint_1_power_limit_uw # PL2 90W(默认 112W)
# /etc/systemd/system/cpu-power-limits.service
[Service]
Type=oneshot
ExecStart=/usr/local/sbin/cpu-power-limits.sh
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target
# thermald 会自己改写 RAPL,必须关掉;CPU 自带的 100°C 过热保护仍然在
systemctl disable --now thermald && systemctl mask thermald
systemctl enable --now cpu-power-limits.service
顺便回答几个问题
开盖换液金有用吗?
基本没用
全核频率是被 80W 功耗墙按住的,不是温度。降 10°C 最多多出 50–100MHz,单核上不去 4.8 是 Intel 睿频策略的问题。为这点收益冒 Xeon 开盖的风险不值。
iLO 里切"操作系统控制模式"?
意义不大
当前"动态省电模式"下 HWP 已经交给 intel_pstate,频率上限、EPP 都能调。风扇永远是 iLO 管,换哪个模式都不能手动设转速。
BIOS 风扇策略改"增强散热"?
反方向
能把核心温度压低一些,但风扇只会更吵。想安静,要动的是热量来源——功耗,尤其是开头那一下。
一句话结论
风扇怕的不是功耗高,是功耗突然变高
PL2 从 112W 降到 90W:全核持续频率不变,开头只慢约 2%,风扇峰值从 100% 降到 62%。
回头看,这一天里最费时间的不是测量,而是"设置明明写进去了为什么不生效"——答案是系统里有另一个进程在悄悄改它。调硬件参数之前,先确认没有别人也在调。