基于 BaM 与 GIDS 技术的 Solidigm™ 固态硬盘性能表现

大型加速器内存 (BaM) 和 GPU 发起直接存储 (GIDS) 简介

图神经网络 (GNN) 的指数级增长与复杂度提升，对 AI 训练基础设施提出了更高要求。诸如 IGBH 这类异构数据集（包含数十亿条边与高维特征），需要在存储与 GPU 内存间进行海量数据传输。传统存储架构由 CPU 处理所有数据传输，会产生数据瓶颈与流水线停滞，导致 GPU 利用率不足、训练时间延长。以下两个开源研究项目可解决该瓶颈：

1. 大型加速器内存 (BaM)

BaM 重新定义了数据布局，让 GPU 替代传统 CPU 模式，直接管理与 NVMe 固态硬盘的存储交互。BaM 通过定制化软件栈绕过传统驱动程序，利用 GPU 并行能力实现存储设备的批量数据传输。

2. GPU 发起直接存储 (GIDS)

GIDS 数据加载器作为 BaM 的补充方案，基于 BaM 软件架构构建。GIDS 支持 GPU 直接发起并管理存储 I/O，专门满足 GNN AI 训练需求，完全免除 CPU 介入。BaM 与 GIDS 协同工作，可最大限度降低延迟、提升吞吐量，为 GPU 持续供给数据以实现最优利用率。

Solidigm 对 BaM 与 GIDS 技术的评估

我们测试所使用的 Solidigm™ D7-PS1010 固态硬盘，可让 BaM 与 GIDS 技术成为现实 GNN AI 训练工作负载（如 IGB 异构数据集）的切实加速方案。本白皮书展示基于 Solidigm D7-PS1010 固态硬盘开展的 BaM 与 GIDS 技术评估结果。

训练架构

采用 BaM 与 GIDS 的 GNN 训练架构

GIDS 旨在通过将数据加载从 CPU 转移至 GPU 来加速 GNN 训练。与传统基于 CPU 的深度图神经网络库 (DGL) 内存映射 (mmap) 方案不同，GIDS 借助 BaM 技术实现从 Solidigm D7-PS1010 固态硬盘到 GPU 的直接数据传输，提供更快速的端到端数据加载，提升 GNN 训练效率。

GIDS 通过四项核心创新优化图计算工作负载的存储访问：

1. 动态存储访问累加器： 异步将 GPU 线程的存储请求聚合为连续访问块，实现固态硬盘带宽峰值。

    

2. 窗口缓冲：通过预测后续数据访问模式优化缓存使用，消除节点/边特征加载时的 PCIe 总线停滞。

    

3. 恒定 CPU 缓冲区：固定大小的锁定内存区域，用于存储高频访问数据。

    

4. BaM 软件栈：采用定制存储驱动程序，发挥 GPU 并行能力。

    

采用 DGL mmap 的 GNN 训练架构

DGL mmap（深度图神经网络库内存映射 I/O）是传统的 CPU 驱动式图数据加载方案。与 GIDS 不同，该方案存在性能折中，尤其在大规模 GPU 工作负载下更为明显。

DGL mmap 核心特性：

1. 内存映射文件访问：通过操作系统级 mmap 将图数据（节点、边、特征）映射至虚拟内存。

    

2. CPU 协调数据传输：CPU 处理所有数据访问并通过 PCIe 传输至 GPU。

    

3. 无 GPU 感知缓存：缺少预测性缓存或缓冲机制。

    

测试方法

本次对比基于 Solidigm D7-PS1010 固态硬盘，测试 GIDS GPU 中心化架构与 DGL mmap 方案的数据加载效率（100 步端到端耗时）。我们采用 Illinois Graph Benchmark (IGBH) 的小规模与全量异构数据集进行 GNN 训练测试。

1. 系统配置

软件：

1. 操作系统：Ubuntu 20.04.05 LTS

    

2. 内核：5.8.0

    

3. CUDA 12.9

    

4. BaM

    

5. GIDS 数据加载器

    

6. Python DeepGraphLibrary

    

硬件：

1. 服务器：Supermicro SYS-421GE-TNRT

    

2. CPU：Intel Xeon Silver 4516Y

    

3. GPU：Nvidia L40S

    

4. 固态硬盘：Solidigm™ D7-PS1010（E1.S，3.84TB，PCIe 5.0 风冷）

    

2. 基准测试参数

• 数据集：IGB 异构小规模（1,000 万条边）、IGB 异构全量（58 亿条边）

   

• 基准方案：DGL mmap（CPU 中心化数据加载器）

   

• 测试工具：GIDS 数据加载器

   

• 指标：训练过程中 100 步的端到端运行时间（秒）。

   

• 每一步为一批 512 个种子节点在 2 层网络中进行邻居采样。

   

• GNN 模型：关系图注意力网络 (RGAT)。

   

• 窗口缓冲：8GB

   

• 恒定 CPU 缓冲区：数据集大小的 20%。

   

训练时基准准确率设为 70%，与 IGBH 的 MLPerf 目标保持一致。注：MLPerf 是用于评估各类工作负载机器学习性能的行业标准基准套件，该阈值代表模型达到有效收敛与质量水平。

我们使用可公开访问的代码库来部署并运行 GIDS 与 BaM，数据集来自 Illinois Graph Benchmark 套件。相关链接见附录。

3. 测试结果

基于 IGBH 小规模数据集（1,000 万条边）训练后的模型准确率

两种数据加载器的训练准确率均达到 70% 基准阈值，验证了训练模型的有效性。

使用单块 Solidigm D7-PS1010 硬盘运行 IGBH 小规模数据集（1,000 万条边）100 步的端到端时间

使用 Solidigm D7-PS1010 PCIe 5.0 固态硬盘时，GIDS 通过最大限度地降低开销与利用并行性，将小规模图的加载时间缩短近一半。

基于 IGBH 全量数据集（58 亿条边）训练后的模型准确率

两种数据加载器的训练准确率均达到 70% 基准阈值，验证训练模型有效。

使用单块 Solidigm D7-PS1010 硬盘运行 IGBH 全量数据集（58 亿条边）100 步的端到端时间

随着边数增加，GIDS 性能相较 DGL mmap 提升近 9 倍。

基于 IGBH 数据集使用 BaM 与 GIDS 时的 GPU 缓存指标

表 1. 基于 IGBH 数据集使用 BaM 与 GIDS 时的 GPU 缓存指标

表 1 比较了使用 GIDS 数据加载器在 IGBH 异构图的两种规模数据集（小规模与全量）上训练 GNN 时的 GPU 缓存性能指标。指标包括：

• 缓存命中率：在 BaM 架构下，由软件缓存（包含 GPU 窗口缓冲区、恒定 CPU 缓冲区的多层缓存）而非固态硬盘处理的特征提取请求所占的百分比。

   

• 缓存未命中率：在 BaM 架构下，因数据不在软件缓存中而需要从固态硬盘读取的请求百分比。

   

小规模与全量数据集的缓存命中率与未命中率差异显著（小规模数据集命中率为 77%，全量数据集约为 10%）。但是，这并未造成巨大的端到端时间差异，因为 GPU 计算在训练循环中占主导并与 I/O 重叠。数据经预拆分并通过 BaM 预取访问，固态硬盘读取可在计算过程中高效处理，从而降低缓存未命中对总运行时间的影响。

DeepGraphLibrary 方案未列入表格，因其不具备 GPU 软件缓存或固态硬盘感知预取机制，无法统计软件缓存访问情况。

结论与未来发展方向

Solidigm D7-PS1010 固态硬盘搭配 BaM 与 GIDS 技术，可显著提升 GNN 训练性能。

• 借助 Solidigm D7-PS1010 固态硬盘的高速顺序与随机读取能力，结合 BaM 与 GIDS 可加速大规模图数据集的读取与预处理。

   

• GIDS 大幅缩短数据加载时间，针对 IGBH 小规模数据集（1,000 万条边），加载速度相较传统 CPU 绑定的 DGL mmap 方案提升近一倍。

   

针对测试的最大规模数据集 IGBH 全量（58 亿条边），GIDS 保持高速数据加载，速度较传统方案快 9 倍。我们在 BaM 与 GIDS 上的研究为 Solidigm D7-PS1010 固态硬盘适配未来存储架构奠定了坚实基础。

Solidigm D7-PS1010 E1.S 是面向 AI 负载的旗舰固态硬盘。D7-PS1010 E1.S 提供以下外形规格，适配特定 AI 服务器环境：