百度 ABC 存储：重新定义对象存储

百度 ABC Storage 借助英特尔® 傲腾™ 固态硬盘和英特尔® QLC 3D NAND 固态硬盘技术提高性能和容量。

概览

• 百度智能云*是 IT 和互联网行业的领先企业。
通过与英特尔的合作，百度智能云将固态硬盘与英特尔® 傲腾™ 技术和英特尔® QLC 技术结合用于 ABC（人工智能、大数据、云）存储的全闪存对象存储解决方案的核心硬件。

人工智能 (AI) 训练、大数据处理和高性能计算 (HPC) 等先进技术正在推动私有云存储服务的发展方向。海量数据的存储系统也与企业需求密切相关，尤其是在用于海量非结构化小文件的高性能存储系统领域。

作为 IT 和互联网行业的领先企业，百度智能云* 将其在公共云存储技术方面的多年经验应用于私有云存储解决方案，作为其 ABC（人工智能、大数据、云）战略的重要组成部分。通过与英特尔的合作，百度智能云将固态硬盘与英特尔® 傲腾™ 技术和英特尔® QLC 技术结合用于 ABC Storage 的全闪存对象存储解决方案的核心硬件。

数据增长——机遇与挑战

预计到 2025.1 全球数据量将膨胀至 163 ZB（泽字节）海量数据，尤其是非结构化数据的爆炸式增长，已成为企业数据数字化以及相关 IT 技术快速持续演进的驱动力。如此大的数据量有望实现计算机视觉、语音识别、金融风控等技术的突破。因此，对海量数据进行有效的管理、处理和利用已成为希望在行业中保持优势的企业的关键竞争力领域。

然而，由于文件大小和数量、索引、访问模式和传统存储技术（即旋转驱动器），海量非结构化数据的存储给传统存储系统带来了挑战。此外，块存储和文件存储系统不适合小文件存储，而人工智能等新应用对存储系统的读写性能要求更高。这些都带来了有趣的技术挑战。

文件大小和数量——传统文件存储系统的性能往往会随着文件数量的快速增加而波动并下降。在人工智能训练场景中，例如图像识别，训练数据集包含惊人的文件数量，通常是小文件。同样，对于流行的互联网应用，如媒体资产管理、无人驾驶和视频服务，系统中存储和处理的文件数量通常达到数亿。文件数量的快速增长导致存储系统中 IOPS 性能的下降和波动，尤其是在传统文件存储中，例如网络附加存储 (NAS) 系统。

索引——此外，文件存储系统目前使用 Hash 树和 B+ 树计算方法来管理和索引目录。从包含超过 1 亿个文件的目录中检索时，用于管理和索引目录的算法往往会显著降低效率和性能。

访问——在某些应用场景中，“一次读多写”或“读写混合”的访问方式进一步加剧了性能方面的挑战。常见的文件 I/O 进程包括“打开”、“搜索”、“读/写”和“关闭”操作。“读取”或“写入”之前的“打开”占用最多的系统时间和资源。因此，在处理“混合读/写”访问模式时，系统会重复执行“打开”操作。当有海量并发操作时，会浪费大量系统资源，造成性能损失。

硬盘——传统硬盘在 IOPS 和随机读写性能方面的弱点阻碍了存储系统的性能升级。由于机械限制，即使是更高性能的硬盘，其随机读写性能也只有数百个 IOPS。2 在处理小文件时，效率甚至更低，因为需要硬盘不断地搜索和定位不同存储位置的文件。

百度 ABC Storage 的高性能全闪存存储解决方案

百度在搜索技术领域的工作获得了广泛认可。百度拥有超过 1000 亿个页面、2,000 PB 存储的数据和 100 PB 日处理数据，3 百度深谙存储海量非结构化小文件带来的技术挑战。

百度智能云已尝试通过软件改进和基于英特尔® 的硬件增强来应对上述挑战。

软件

开发人员将百度的高性能对象存储引擎纳入新解决方案，从而使其能够提供出色的数据生命周期管理、数据保护策略、检索效率、InfiniBand*架构网络和 RDMA 支持，以及灵活的权限管理机制。此外，ABC Storage 高性能对象存储引擎通过对象存储的扁平化部署、高效检索和艾字节可扩展性，能够为私有云用户提供海量非结构化小文件的存储。

人工智能训练过程包括数据收集、清理和标记、调整大小、建模、训练、评估和预测。每一步都需要存储系统执行读、写和检索操作。在整个训练过程中，数据将经历高并发和迭代吞吐量的影响，从而为训练系统进行满载运行提供足够的数据。

百度的对象存储引擎解决了海量文件的性能问题，使存储系统能够实现稳定的性能输出，有效提升人工智能应用的数据利用效率。同时，对于训练过程中的某些混合读写操作，引擎也进行了进一步的优化，以确保在混合读写场景下系统性能不受影响。

各种优化的测试结果表明，随着文件数量的增加，软件本身就能够始终保持稳定的性能。如图 1 所示，随着文件数量从 1 亿逐渐增加到 80 亿，每秒查询 (QPS) 和延迟性能在 5%4 范围内波动。

硬件

如上所述，硬盘驱动器对高性能存储解决方案提出了若干挑战。固态硬盘几乎没有寻道时间或旋转延迟，因此与硬盘驱动器相比具有更高的 IOPS 性能。百度智能云结合了英特尔® 傲腾™ 固态硬盘和英特尔® QLC 3D NAND 固态硬盘技术，构成了 ABC Storage 全闪存对象存储解决方案的核心硬件。英特尔傲腾固态硬盘采用创新的英特尔® 3D XPoint™ 存储介质，并结合先进的系统内存控制器、接口硬件和软件技术，提供低延迟和高稳定性。百度解决方案使用以下设备：

英特尔® 傲腾™ 数据中心级固态硬盘 P4800X 部署在核心存储系统领域，例如缓存、MDS 和日志系统。该设备提供高达 550,000 IOPS 的随机读/写容量和不到 10 µs 的读/写延迟5，使该解决方案能够在多用户和高并发场景中更有效地执行。同时，其每日驱动器写入 (DWPD) 性能还提供更长的使用寿命并确保更好的经济价值。

英特尔® 固态硬盘 D5-P4320 基于 QLC 技术，提供大容量数据存储。英特尔 64 层 3D NAND 技术，单块 QLC 固态硬盘容量高达 7.68 TB，足以满足海量数据的存储需求。它还具有高达 427,0007 的随机读取 IOPS，并且，与英特尔® 至强® Gold 6142 处理器搭配使用时，特别适合在人工智能训练等应用场景中满足“一次写入多次读取” (WORM) 的性能要求。新方案采用的英特尔固态硬盘 D5-P4320 有效满足大容量存储需求。

在 ABC Storage 解决方案中，每台存储服务器部署了 4 个固态硬盘，在 30TB 的容量中提供高达 20 亿个 15KB 文件的总文件存储量。更重要的是，英特尔 QLC 3D NAND 固态硬盘的性价比使这种固态硬盘组合能够确保该解决方案的高性能，同时有效降低系统的总拥有成本 (TCO)。百度测试表明，百度智能云高性能全闪存解决方案可将总拥有成本 (TCO) 降低 60%6。

结果

在英特尔的支持下，百度智能云团队对 ABC Storage 全闪存存储解决方案的性能进行了详细的评估和测量。图 2 显示了基准测试框架，其中包括一个由五台服务器组成的集群，每台服务器配置有两个英特尔® 至强® Gold 6142 处理器和 256 GB 内存。使用了一个 750 GB 英特尔傲腾数据中心级固态硬盘 P4800X 和四个 7.68 TB 英特尔固态硬盘 D5-P4320 驱动器。该系统使用 40 GbE 网络连接到计算平台。

测试表明，英特尔傲腾固态硬盘与英特尔 3D NAND QLC 固态硬盘技术的结合，充分满足了人工智能训练应用场景的存储系统性能要求。表 1 显示了基本 ABC Storage 版本的性能结果。

前景

作为百度智能云 ABC 战略的重要实践成果之一，ABC Storage 高性能全闪存对象存储解决方案通过改进的存储性能和存储大小，为人工智能训练、大数据分析、高性能计算提供了强大而可靠的支持。

英特尔的产品和技术是解决方案成功的关键因素。未来，双方计划开展更多合作，以优化现有解决方案的性能，同时融入更多英特尔的产品和技术。同时，双方还计划将全闪存高性能对象存储解决方案延伸至更多应用场景，真正将海量数据转化为推动 IT 技术发展转型和企业数字化的动力。

百度智能云解决方案的优势

• ABC Storage 高性能对象存储引擎为人工智能训练、高性能计算等应用场景提供了集成的对象存储接口，即使在文件数量快速增长的情况下也能提供稳定的性能输出。
• ABC Storage 高性能对象存储引擎通过有针对性的优化流程，帮助存储系统保持良好的性能，海量数据需要“读/写”、WORM 和“混合读/写”场景。
• 英特尔® 傲腾™ 固态硬盘与基于英特尔® QLC 3D NAND 技术的英特尔® 固态硬盘的结合使 ABC Storage 全闪存对象存储解决方案能够保持高性能，同时大幅降低 TCO。
  
  下载 PDF