基于 Bluefield-3 DPU、依托 CSAL 的 AI 推理存储方案
大型语言模型 (LLM) 的快速发展，对高效键值 (KV) 缓存管理提出了迫切需求，以期在多轮对话和长上下文处理中优化人工智能 (AI) 推理性能。本白皮书探讨了云存储加速层1 (CSAL) 与 BlueField-3 数据处理单元2 (DPU) 的集成，通过灵活的存储架构应对高并发 AI 工作负载中 KV 缓存的存储挑战。
该架构将大容量固态硬盘 (SSD) 和高性能 SSD 相结合，实现了系统级的灵活配置能力。通过将 CSAL 与一个或多个 DPU 配对，该架构能够根据数据准备、训练、推理和检索增强生成 (RAG) 等不同 AI 工作负载阶段的具体需求，在大容量 SSD、高性能 SSD 或缓存层存储资源之间动态分配数据，从而显著提高吞吐量，大幅缩短首次生成令牌所需时间 (TTFT)。
作者简介
Wayne Gao 是 Solidigm 的首席工程师和解决方案存储架构师。他全程参与 Solidigm 云存储加速层 (CSAL) 从技术探索到商业发布的全流程工作。Wayne 拥有超过 20 年的存储开发经验，持有 4 项美国专利（已申请/授权），并在 EuroSys 上发表过论文。
Bo Li 是 Solidigm 的高级存储解决方案架构师。他拥有超过二十年跨多个组织的系统设计和开发经验，专注于优化网络和存储解决方案的性能。近年来，他致力于推动非易失性存储技术在全行业的普及。
Mariusz Barczak 是 Solidigm 的首席工程师。他在存储软件和存储解决方案方面拥有超过 13 年的创新经验。他特别擅长缓存解决方案、软件定义存储、虚拟化和存储分析。Mariusz 拥有多项专利，活跃于开源社区。他目前专注于领导 Solidigm 云存储加速层 (CSAL) 团队，该团队提供混合介质解决方案，将 Solidigm SLC SSD 与其他存储组件相结合（如 Solidigm QLC SSD），以提供高效且耐用的存储。
Sarika Mehta 是 Solidigm 的高级存储解决方案架构师，拥有超过 16 年在英特尔存储部门及 Solidigm 的工作经验。她致力于与 Solidigm 客户和合作伙伴密切合作，以优化其存储解决方案的成本和性能。她负责针对存储部署中的各种存储用例（从直接连接存储到分层和非分层解耦存储解决方案）对 Solidigm 固态硬盘进行调优和优化。她在存储领域的各个方面都有着丰富经验，包括认证、性能基准测试、探索新方向、技术营销和解决方案架构。
Scott Werntz 是 Solidigm 的解决方案架构师。他在数据中心设计和云计算领域拥有 30 多年的行业经验。随着 AI、物联网、虚拟化工作负载及软件定义存储技术的兴起，Scott 不断深耕这些新兴技术领域，丰富自身专业能力，助力客户厘清思路，以最优方案应对存储解决方案需求的持续变化。Scott 拥有多项行业认证以及丰富的数据中心实践经验。
Kapil Karkra 是 Solidigm 的高级首席工程师，负责面向 AI 基础设施的下一代存储解决方案，主导相关软件与技术方案的前沿探索工作。他的工作重点是云存储加速层 (CSAL) 的持续优化与演进。CSAL 是一种基于主机的闪存转换层 (FTL)，具备独立磁盘冗余阵列 (RAID) 和缓存功能。他致力于将混合介质 (MM) 和灵活数据放置 (FDP) 等技术推向市场，并定义交钥匙参考架构，通过软硬件集成的方式，加速高密度与非易失性存储器固态硬盘（NAND SSD，包括四层单元存储器 QLC、五层单元存储器 PLC 和高层单元存储器 HLC）在 AI 和云工作负载中的推广应用。Kapil 拥有印度国家理工学院 (NIT) 电气工程学士学位和亚利桑那州立大学 MBA 学位。
