2026.08.10
AI 集群架构
LLM 请求路由怎么利用缓存亲和性：负载均衡不能只看 GPU 利用率
以会话状态和 KV 缓存位置约束路由，在吞吐、尾延迟与资源均衡之间建立可回退的策略。
新闻中心 NEWS CENTER
查看新闻中心产品资料、规格与兼容性信息、选型建议、部署注意事项、测试验证与项目交付支持；选型时同步核对完整型号、接口、软件版本、供电散热、部署环境、生命周期与到货验收要求。
-
2026.08.10
-
2026.08.10
AI 集群架构梯度累积能缓解网络压力吗：同步频率下降不等于训练更快
降低同步次数可以缓解通信瓶颈，但必须同时核算有效批量、显存占用、优化器步数与端到端吞吐。
-
2026.08.10
AI 集群架构Pipeline Parallel 失衡怎么定位：阶段空闲要和微批调度一起看
从时间线拆分计算、通信与调度等待，识别真正限制流水线吞吐的阶段，并在扩微批前完成验证。
-
2026.08.10
AI 集群架构AI 集群 DNS 怎么做韧性：服务发现故障不应拖垮训练数据面
以分层缓存、明确故障域和数据面降级，避免服务发现异常扩散为训练中断。
-
2026.08.10
AI 集群架构API 网关与 RDMA Fabric 为什么要分层：南北向访问不能污染训练数据面
将身份与业务访问控制留在南北向入口，把训练通信限定在可预测、可验证的 RDMA 数据面。
-
2026.08.10
AI 集群架构跨集群检查点复制怎么规划：一致性窗口比带宽数字更重要
以一致性窗口、恢复点状态和故障域为主线，规划可验证、可回退的跨集群检查点复制。
常见问题 点击展开 收起
资讯中心的技术内容如何核验？
产品规格、软件版本、兼容性和性能结论优先依据厂商公开资料、版本文档与项目核验记录。缺少证据的配置不会写成确定结论，涉及具体环境时仍需结合设备型号和版本复核。
资讯文章中的架构可以直接用于项目吗？
不能直接照搬。文章提供的是设计思路和检查方法，正式方案还需要确认 GPU 与服务器规模、现网设备、网络体系、机房条件、软件版本、扩容目标和验收口径。
如何让中科新远协助核验兼容性？
请提供服务器和交换机型号、网卡或 DPU 料号、端口速率与形态、线缆距离、操作系统、驱动固件版本以及计划运行的业务或测试目标。
中科新远能提供哪些 NVIDIA 项目支持？
依托 NVIDIA Compute 与 Networking Elite 合作伙伴能力，中科新远可协助产品选型、BOM 核验、网络规划、PoC 测试、实施交付和验收准备；具体合作与交付范围以当前有效资质和项目确认结果为准。
WeChat
Profile