爬坑笔记,I219-LM在PVE上间歇性失联问题修复

家里原有的虚拟化设备是两台NUC9,但NUC9在Windows和PVE下均出现间歇性失联,表现为SSH和WebUI突然连不上,Ping宿主机全丢包,但机器电源灯亮着、风扇照转,从网关端看,先是宿主机,紧接着是内部虚拟机逐个离线。随机死机内存嫌疑最大,第一反应就是内存,不过当时也没仔细排查,问题就一直搁着。

9月份,因为远程办公的需求逐渐增多,旧NUC失联故障还在,加上家里6U交换机柜塞着3台NAS、空间捉襟见肘,就新购了带AMT的ThinkCentre M920x当虚拟化平台,内存也一并换了新,结果故障甚至比旧的NUC9更频繁,这才起了认真排查硬件故障的心思,因为有AMT的存在,故障排查变得简单很多,失联时从AMT控制台进去看,系统活得好好的,内存也无报错,尝试检查网络链路,也一切正常,问题逐渐指向3台设备的共同点,那该死的Intel I219-LM。

故障复现

故障原因

Windows下,该故障很隐蔽,因为绝大多数情况下,Windows可以自愈,但在PVE下这个问题要严重得多,失联发生时,通过AMT控制台进入,检查内核日志发现e1000e有1.4万条Detected Hardware Unit Hang,其实这个故障能检索到很多公开信息,原因也并不复杂,该款网卡在硬件层面BUG,导致TSO/GSO开启把大包切分的活丢给网卡硬件做时I219-LM 内部状态机会卡死,驱动发现这个状态会尝试复位但失败,导致间歇性失联发生。

NUC9为什么频率低

NUC9板载网卡为i219-LM + i210-AT,PVE下配置为active-backup(主备模式),当bond-primary(主网卡)设置为i210-AT时,故障发生的概率趋近于0,但换设备前因为失联频率低,加上失联后SSH进不去,内存也是杂牌的DDR4,就没有往网卡上面想,但换用M920X之后因为设备仅有单网卡,大流量负载下很容易触发BUG导致失联。

故障修复

既然故障原因明确,那解决方法就很简单了,稳妥点的方法是创建一个systemctl服务文件,使用ethtool关闭掉TSO/GSO,让CPU去处理这些事情,为了稳妥,顺道把TX、RX、EEE一并关了,虽然理论上会造成CPU负载及网卡功耗提高,但千兆家用环境下,影响可以忽略不计。

创建systemctl服务文件

注意,我本地的网卡名为nic0,实际配置最好使用ip link确认下。

cat > /etc/systemd/system/nic-stable.service <<'EOF'
[Unit]
Description=Disable NIC offload and EEE for Intel I219-LM stability
After=network-online.target
Wants=network-online.target

[Service]
Type=oneshot
ExecStart=/usr/sbin/ethtool -K nic0 tso off gso off gro off
ExecStart=/usr/sbin/ethtool -K nic0 tx off rx off
ExecStart=/usr/sbin/ethtool --set-eee nic0 eee off
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target
EOF

设置开机自启动

systemctl daemon-reload
systemctl enable nic-stable.service
systemctl start nic-stable.service

效果验证

systemctl status nic-stable.service
# 期望:Active: active (exited),Main PID 那行 code=exited, status=0/SUCCESS
# 且 Loaded 行末尾是 enabled(开机自启)
ethtool -k nic0 | grep -E 'tcp-segmentation-offload|generic-segmentation-offload|generic-receive-offload|tx-checksumming|rx-checksumming'
# 期望五行全部 off
ethtool --show-eee nic0
# 期望:EEE status: disabled

这一套组合拳下来,目前设备已经稳定运行三周左右,日志里也没再发现Detected Hardware Unit Hang,也未在失联过,至此,问题修复。

留言

0
回复 @ 的留言
留言需经过审核才会显示~