KV Cache 解耦应围绕“请求能否命中、命中后要经过几次网络往返、缓存何时可安全回收”设计，而不是先按 Prefill 与 Decode 划分机器。只有长上下文或多轮会话存在可复用前缀、请求可稳定路由、网络与存储层能承受远端访问时，拆分才可能降低重复 Prefill；否则，它会把本地显存访问替换为远端访问、失效协调和跨节点恢复，尾延迟反而更难控制。
先定义解耦后的责任边界
Prefill 节点负责计算新 token 的键值并发布缓存描述符；Decode 节点负责按会话持续读取已有块并追加增量块。缓存服务不应只保存“会话 ID 对应一段内存”，还应记录模型版本、层数与张量布局、精度或量化方式、token 区间、租约、校验信息和所属节点。任何影响 KV 语义的配置变化，都必须形成不同的命名空间，避免 Decode 误读不兼容缓存。
不要假设 Prefill 输出天然可被所有 Decode 节点直接消费。布局转换、分块大小、通信库版本、驱动与硬件拓扑都可能改变实际代价；版本与平台限制应按现场环境及 NCCL User Guide 复核，再决定使用何种传输与分组策略。
把网络路径写进命中模型
一次逻辑命中不等于一次低成本命中。应区分本地命中、同节点远端进程命中、同机架远端命中、跨域远端命中和目录命中但数据失效。对每类请求记录目录查询、握手、首块获取、后续块流水、重试和回填所需的往返次数。Decode 对首 token 和每轮增量都敏感，因此路由应优先将会话固定到持有热块的节点；无法固定时，宁可在阈值内迁移完整热集，也不要在每步 Decode 中反复跨节点拉取小块。
让命中由可比较的键决定
缓存键至少应覆盖模型工件标识、系统提示词、已确认的用户 token 前缀、采样前不会影响 KV 的运行参数，以及分词器版本。键计算必须基于规范化后的 token 序列，而非原始文本，防止格式差异造成伪未命中。目录先返回最长可用前缀及其健康状态，调度器再比较“复用节省的 Prefill 时间”与“取得缓存的网络及排队成本”。短前缀、低复用前缀或健康状态未知的条目，应直接走本地 Prefill，避免为命中率指标制造额外远端路径。
回收策略要服务于会话生命周期
回收不能仅按最近最少使用排序。活动 Decode 会话持有租约，租约续期失败时应停止引用并重新确认目录；已完成会话可按前缀热度、占用量、复制数和重建成本分层淘汰。删除采用“先撤销目录可见性、等待引用归零、再释放数据”的顺序，防止目录命中指向已释放块。面对容量压力，优先淘汰低复用、易重建且无活动租约的冷块；不要驱逐正在输出的会话，再依赖隐式重算掩盖问题。
复制与恢复不能脱离拓扑
热前缀可保留有限副本，但副本数应由故障域、可用容量和恢复目标共同决定，而非固定常数。节点故障后，目录需要能快速判定副本是否完整；若没有完整副本，必须从稳定输入重新 Prefill，而不是将残缺 KV 继续用于 Decode。NCCL 面向多 GPU 通信提供相关机制，但它不是缓存一致性协议；传输完成、目录提交和租约生效仍需由服务自身定义。集群网络、存储与故障域规划可参照 NVIDIA DGX SuperPOD Reference Architecture 的参考架构思路，并结合实际布线、软件版本和隔离策略验证。
按阶段上线并测量真实代价
- 先只建设统一键、目录和观测字段，保持 KV 本地使用，测量潜在可复用前缀比例。
- 对少量可控流量启用同域远端读取，并限制最大读取块数与重试次数。
- 验证稳定后再引入副本、迁移和跨域调度，且每一步都保留独立开关。
核心指标包括逻辑命中率、可用命中率、本地与远端命中占比、首 token 时延、单步 Decode 时延、网络往返次数、回填率、驱逐后重算率、失效目录命中率及节点故障后的恢复成功率。应按命中层级和请求长度分桶观察分位数，不能只看平均值。
明确不适用边界与回退
低复用、短请求、强随机路由、网络抖动明显或模型配置频繁变化的场景，缓存拆开通常不具备足够收益。尤其在缓存拆开后，远端访问、失效判断和跨节点恢复的成本会同时出现；若目录不可用或远端读取超时，Decode 服务必须切换为本地 Prefill 或将会话迁移到持有完整副本的节点。回退路径应预先演练：关闭远端命中开关、停止新缓存发布、保留活动会话租约，并在容量受控条件下逐步清理失效条目。
WeChat
Profile