AI 集群可观测性怎么分层：把作业、GPU、主机与网络对齐 NEWS DETAIL

AI 集群可观测性的核心是用同一作业时间轴关联调度、GPU、CPU、内存、存储、网卡和交换网络，而不是分别建设互不相通的看板。只有能从业务变慢追到资源层，再从资源告警反查受影响作业，监控才具备运维价值。

适用条件与判断边界

适用于共享训练、推理或混合负载的集群，尤其是节点多、故障域复杂或跨团队运维的环境。需要统一节点、GPU、网卡、交换端口、作业和租户标识，并保证时间同步。指标采集频率要匹配事件持续时间，同时控制基数和保留成本，不能无限增加标签。

实施与选型方法

按五层建立信号：作业层记录排队、阶段和失败；GPU 层记录利用、显存、温度、功耗与错误；主机层记录 CPU、内存、PCIe 和内核；网络层记录接口、RDMA、队列、丢包与拓扑；存储层记录吞吐、延迟和错误。用稳定 ID 和时间窗口关联，并为每类告警定义可执行的下钻路径。

主要风险与控制方式

风险包括高基数标签压垮监控系统、采样过慢遗漏短时拥塞、时间漂移造成错误关联，以及只设置固定阈值导致噪声。GPU 利用率低可能来自数据、网络或调度，不能直接判定 GPU 故障；累计网络错误也需看增量。监控本身应有容量和可用性设计。

如何核验结果

1. 选取一次真实作业，确认从作业 ID 可下钻到节点、GPU、网卡、交换端口和存储窗口。
2. 注入可控的进程退出、链路中断或数据延迟，验证告警顺序、关联和处置建议。
3. 定期检查指标缺口、时钟偏差、标签基数和保留周期，确保重要证据不会在复盘前丢失。

下一步行动

从最关键的三类事件开始建设跨层仪表盘和运行手册，不追求一次覆盖所有指标。每次事故复盘都要验证现有信号是否足以回答影响、原因和恢复，并据此补齐采集。

核对具体版本与功能边界时，可查看NVIDIA DCGM 功能概览、Prometheus instrumentation 实践，并以目标版本页面为准。