GPU 出现 Xid 或 ECC 告警怎么处理：先保留上下文再分级 NEWS DETAIL

出现 Xid 或 ECC 告警时，先保存完整日志、GPU 与节点身份、作业、驱动、温度和错误计数，再按错误代码、是否重复、是否影响任务和是否跨重启持续进行分级。直接重启可能恢复服务，但也会清除关键现场，不能作为唯一处理方式。

适用条件与判断边界

适用于裸机、容器和虚拟化 GPU 环境。平台需要能够把内核日志、DCGM 或 nvidia-smi 指标与作业 ID、容器和租户关联。单次可纠正 ECC、不可纠正错误、频繁 Xid 和 GPU 掉卡的风险不同，具体含义以对应驱动文档和硬件支持流程为准。

实施与选型方法

事件发生后先限制新任务调度，采集 dmesg、驱动日志、Xid 代码、ECC 聚合与易失计数、温度、功耗、PCIe 和同期系统事件。判断错误是否只跟随某个作业、GPU 或节点。按官方 Xid 目录采取进程重启、GPU reset、节点重启或硬件检查，并在每一步记录状态，避免同时改变驱动和硬件。

主要风险与控制方式

频繁自动重启会形成故障循环并隐藏趋势，把所有 Xid 都视为硬件损坏会造成误处置，忽略不可纠正 ECC 又可能影响结果可靠性。重置 GPU 可能影响同节点其他租户。任何高影响操作都要先确认作业和设备共享范围，未知事件不应继续承载关键任务。

如何核验结果

1. 核对错误代码、次数、时间、GPU 身份、作业和节点日志，确认事件链没有因重启丢失。
2. 在隔离节点用可重复测试复现，观察错误是否跟随负载、GPU、插槽、驱动或环境。
3. 修复后运行 DCGM 与代表性业务压力，确认 Xid、ECC 和 PCIe 错误不再增加。

下一步行动

建立 Xid/ECC 分级矩阵与自动隔离规则，对重复和高风险事件保留完整支持包。恢复生产前必须有复测证据；无法解释的节点维持隔离并按官方或整机厂商流程进一步核验。

核对具体版本与功能边界时，可查看NVIDIA Xid Errors 文档、NVIDIA Xid Catalog，并以目标版本页面为准。