近年来，AI基础设施的竞争焦点逐渐从单纯的硬件堆砌转向更复杂的系统协同。随着大模型进入长上下文、复杂推理和多智能体协作的新阶段，GPU算力的实际利用率越来越依赖于模型权重、KV Cache和MoE专家的精准调度。如果KV Cache无法及时复用，系统就需要重新执行Prefill计算；若MoE专家权重未能在路由前进入内存，GPU可能被迫等待数据；而大量推理状态长期占据HBM，则会压缩并发请求的处理空间。这些挑战推动AI基础设施从“堆叠计算资源”转向“协同计算、网络、内存与存储数据路径”的新阶段。
月之暗面推出的Mooncake架构和NVIDIA的CMX平台，成为这一变革的典型代表。Mooncake通过分离式设计，将Prefill与Decode部署在不同资源池中，并将集群中未被充分利用的CPU、DRAM、SSD和NIC组织成分布式KV Cache池。其核心调度器Conductor不再仅根据GPU负载分配请求，而是结合KV Cache分布、缓存命中率和服务目标，动态决定缓存复用、Prefill执行和Decode调度。这种设计使推理系统从“给GPU喂数据”转向“围绕Tensor生命周期编排数据路径”。根据论文披露，Mooncake在真实请求轨迹下，有效请求承载能力较基线系统提升59%至498%，生产系统已运行于数千节点，每日处理超1000亿Token。
NVIDIA的CMX则通过在HBM与共享存储之间增加“G3.5”层级，构建了Pod级上下文内存平台。该平台以Flash为介质，通过以太网连接，专门优化KV Cache的跨节点共享与复用。CMX的Dynamo模块负责KV块跨层编排，DOCA Memos提供通信与元数据管理，BlueField-4将I/O操作下沉至网络和NVMe Flash附近，Spectrum-X Ethernet则提供RDMA数据通道。据NVIDIA披露，CMX可在单个GPU Pod内提供PB级共享上下文容量，面向长上下文和智能体负载的持续Token吞吐与功耗效率最高可达传统方案的5倍。尽管实际收益受模型、缓存命中率和网络策略影响，但其产业信号明确：Flash已成为AI推理内存体系的正式层级。
AI基础设施的变革对存储设备提出了新要求。传统SSD围绕顺序带宽、随机IOPS和可靠性设计，而LLM推理需要严格时序约束的数据供应。例如，KV Cache在Prefill阶段集中生成，后续对话中需再次读取；MoE模型每层仅激活部分专家，却需保存远超显存容量的权重。数据若未在计算窗口内到达，GPU仍会等待。这种矛盾延伸至SSD内部：NAND Flash的页读取、块擦除机制，以及FTL的地址映射和垃圾回收，可能因持续写入KV Cache导致写放大、寿命压力和尾延迟不可预测。传统LBA排布无法理解模型层、KV块和MoE专家的执行顺序，逻辑相关数据在物理介质中可能无法并行读取。
市场上的AI SSD产品逐渐分化为两类。第一类是AI负载强化型企业级SSD，如英韧科技的洞庭-N3X和华为的OceanDisk LC 560。前者采用低时延、高耐久介质，重点优化KV Cache卸载和高频临时数据读写；后者以超大单盘容量和顺序读取能力承载模型、语料和向量数据。这类产品主要解决AI基础设施底层的I/O供给问题。
第二类是“推理参与型AI SSD”，如群联、江波龙和寅谱-联芸的方案。群联的aiDAPTIV通过专用缓存SSD和中间件，将SSD组织为GPU显存外的高容量缓存层。当模型权重超过VRAM容量时，系统将权重切分为数据块，根据执行进度在SSD与VRAM间流式搬运，使当前计算部分留在GPU附近，暂时不活跃的数据下沉至Flash。江波龙的方案以SPU为主控执行层，iSA为软件决策层，通过感知推理负载制定数据分层与预取策略，SPU负责存储控制、硬件压缩和高速缓存。寅谱-联芸的方案则从AI Infra反向定义SSD数据路径，将计算侧的缓存体系、middleware、firmware、controller和NAND介质管理贯通，围绕MoE专家、KV Cache和数值精度进行数据切分、冷热分层和预测式预取。
AI SSD的竞争本质是完整数据路径的竞争。群联从专用缓存盘切入，强调显存与内存扩展；江波龙从SPU和iSA切入，将调度与压缩能力放入存储侧；寅谱-联芸从计算与存储协同切入，使SSD数据组织方式匹配模型执行过程。三者可能分别适用于工作站、AI PC、边缘设备、企业节点和云侧基础设施的不同场景。长期来看，AI SSD的门槛不仅在于主控规格或峰值性能，更在于企业能否建立从NAND介质、FTL、固件、驱动、中间件到推理框架和整机验证的完整协作体系。模型兼容性、缓存命中率、尾延迟、预取准确率、写入寿命和跨平台适配数据，均需通过长期工程实践积累。随着AI产业从模型能力竞赛转向大规模应用，基础设施需回答的不仅是FLOPS数量，还包括每瓦电力生成的有效Token数、GPU实际计算时间占比，以及上下文复用成本。算力、网络、内存和存储的边界将持续模糊，AI SSD有望从外围设备进入核心数据路径。
