DUG 借助 VAST 数据平台和 Solidigm 存储加快 RNA 测序速度

DUG 借助 VAST 数据平台和 Solidigm™ 存储加快 RNA 测序速度

从地震勘探到 RNA 测序，DUG 利用 VAST 数据平台和 Solidigm QLC SSD 重新定义 HPCaaS

作为高性能计算（HPC）解决方案领域的领导者，DUG Technology Ltd（DUG）正持续推动创新——其应用场景涵盖资源行业的地震分析，乃至医疗领域的基因组解码。凭借强大的高性能计算即服务（HPCaaS）解决方案，DUG 为各类组织提供应对复杂挑战的计算资源，在无需本地基础设施的前提下，实现灵活可扩展的算力供给。

关于 DUG

DUG 成立于 2003 年（原名 DownUnder GeoSolutions），最初是一家地球科学服务提供商，从联合创始人 Matthew Lamont 后院的棚屋开始运营。22 年后，DUG 如今在珀斯、伦敦、休斯顿、吉隆坡和阿布扎比设有办事处，为多元化的工业客户群提供支持。该公司还设计、拥有并运营着全球部分最大型超级计算机组成的网络。

DUG 首席信息官 (CIO) Harry McHugh 表示："我们的高性能计算工作负载包括地震数据处理与成像、生物信息学、人工智能、地球遥感观测、计算流体动力学和射电天文。"

“关键在于，HPC 是现代科学发现的助推器 - 事实上，它现在已经不可或缺。”

McHugh 表示，DUG 技术的关键推动因素在于其先进的存储架构，该架构在加速数据密集型工作负载方面发挥着关键作用。

DUG 最初依靠基于 HDD 的存储来支持其 HPC 应用，但该公司遇到了性能瓶颈、可靠性问题和可扩展性限制，尤其是在基于 Lustre 的文件系统方面。随着对数据处理的需求不断增长，尤其是需要多次复制和写入数据的地震工作负载，DUG 需要一种功能更全面、可扩展的解决方案，以确保一致、高速的输入/输出 (I/O) 性能。该公司寻求一种既能够满足超大规模需求，又能保持效率和成本效益的存储架构。

“与传统存储系统相比，在 VAST 和 Solidigm 架构上运行这些工作负载的速度提高了 1.7 倍，运行成本降低了 40%。我们利用 VAST 和 Solidigm 实现的加速效果非常显著，”DUG 首席信息官 Harry McHugh 表示。¹

大数据的计算挑战

虽然 DUG 的大部分计算能力都用于地震数据的处理和成像，但该公司的 HPCaaS 客户还包括生物信息学家，其工作负载包括计算要求极高的 RNA 测序挑战。研究人员依靠 RNA 测序来分析基因组数据，但这个过程会产生大量的小文件，因此需要一个能处理高带宽且延迟最低的存储系统。

McHugh 表示，RNA 测序工作流程的输入数据量通常在 100GB 左右，但可以产生高达 5TB 的输出数据集。“从输入到输出，涉及数百万个小文件，这是一个巨大的飞跃”。

这种数据的爆炸式增长给存储和计算基础设施带来了巨大的压力。采用 Solidigm™ SSD 技术的专用 VAST 数据平台能够很好地化解这一挑战。DUG 之所以选择 VAST，是因为其高性能、可扩展的数据解决方案专为处理大数据工作负载而设计。VAST 数据平台的存储层将 Solidigm SSD 存储与先进的数据缩减和效率技术相结合，使组织能够快速高效地管理大规模数据集，如 RNA 测序中的数据集。

McHugh 表示：“分布式文件系统对于（生物信息学）工作负载至关重要，它需要出色的性能和可靠性，，并具有较高的 IOPS。换句话说，它需要具备 VAST 提供的所有功能。”

VAST 数据平台通过提供并行文件系统的性能和规模以及 NAS（网络附加存储）的简易性来加速 HPC。

RNA 测序的益处

RNA 测序正在从转录水平上彻底改变人们对疾病的理解和治疗方式 - 提供细胞和组织中基因活动的实时快照。通过动态观察基因组的活动，RNA 测序比 DNA 测序更深入 - 这有助于临床医生提供更准确的诊断、更有针对性的治疗以及更好的患者治疗效果。以下是 RNA 测序为医学领域带来的一些优势：

• 精确诊断：RNA 测序揭示了患者细胞中哪些基因正在活跃表达，帮助临床医生区分疾病亚型，检测罕见或误诊疾病，并指导基于生物标志物的诊断。

   

• 个性化治疗：通过分析患者基因的开启或关闭方式，RNA 测序可以选择有针对性的治疗方法、监测治疗反应的变化并识别耐药机制。

   

• 传染病管理：RNA 测序有助于检测和鉴定病毒、细菌和其他病原体，即使它们难以培养。它还能实时监测病原体的演变（如 COVID-19 变异株），并检测宿主对感染的免疫反应。

   

• 了解复杂疾病：对于神经退行性疾病、自身免疫性疾病和精神疾病等疾病，RNA 测序可以发现基因失调的模式，深入了解疾病的发病途径和进展情况，并发现新的治疗靶点。

   

• 癌症研究和肿瘤学：RNA 测序已成为肿瘤学的基础工具，有助于识别驱动肿瘤生长的基因融合和突变，对临床试验患者进行分层，并为开发基于 RNA 的治疗方法提供信息。

   

Solidigm 和 VAST Data 如何支持 DUG 的 HPCaaS 产品

VAST 数据平台的基础是 Solidigm 的高密度 QLC SSD，这项技术为 DUG 解决了一系列难题。

VAST 的数据平台采用 Solidigm QLC SSD 技术，为 DUG 提供了突破性的解决方案。通过采用 Solidigm QLC SSD，VAST 提供了全闪存存储与经济实惠性的组合，比基于 HDD 的系统更具竞争力。

通过过渡到采用 Solidigm SSD 的 VAST 数据平台，DUG 实现了无单点故障的超大规模可扩展性，增强了数据保护和压缩功能，以及更高效的多租户云环境。

此外，VAST Data 提供的远程设备管理功能显著降低了 DUG 的运营开销，实现了零停机更新和主动性能监控。最终，DUG 获得了一个高度可靠、经济高效、面向未来的存储基础架构，从而在降低复杂性的同时扩展了计算能力。凭借此解决方案，存储已从瓶颈转变为战略资产，使 DUG 有能力开拓新市场，并推动多个行业的创新。

多年来，VAST 不断升级其底层 Solidigm 存储技术，以实现更高的容量。

McHugh 表示：“我们从一开始就与 VAST 合作，多年来，我们已经增加了在各站点安装的 VAST 数量。所以，我认为这充分说明了我们之间的持续合作关系。”

McHugh 指出，传统的存储系统经常针对大型流式读写进行优化，这对于地震处理等应用非常有效，但对于基因组学研究中常见的小型、碎片化文件结构却显得力不从心。

“在我们的基础设施中使用 Solidigm SSD 存储，使我们能够有效地管理这些高随机 IOPS 工作负载，在保证速度和效率的同时进行扩展”，McHugh 表示。

比较传统 HDD 与 Solidigm 存储解决方案的性能

对于 DUG 的生物信息学客户而言，VAST 和 Solidigm 的组合可带来巨大的运营效益。该系统处理大量数据吞吐量和快速文件访问的能力是加速基因组测序过程的关键。

DUG 进行的基准测试表明，通过利用 Solidigm 先进的存储解决方案，他们能够显著提高生物信息学工作负载的效率。

“与传统存储系统相比，在 VAST 和 Solidigm 架构上运行这些工作负载的速度提高了 1.7 倍，运行成本降低了 40%，” McHugh 表示，“我们利用 VAST 和 Solidigm 实现的加速效果非常显著。”¹

与 VAST Data 的合作日益密切

VAST 平台的可靠性是 DUG 继续投资于该技术的另一个关键因素，而 Solidigm 存储设备的质量和可靠性则进一步增强了这一点。

McHugh 解释说：“可靠性和性能往往需要权衡，但有了 VAST 和 Solidigm，我们可以两者兼得。” 这种平衡确保了 DUG 的客户可以信任支持其数据密集型工作负载的基础设施。

随着各行各业不断推动数据驱动型科学的发展，对强大的高性能计算解决方案的需求将与日俱增。DUG 采用由 Solidigm 企业 SSD 存储支持的 VAST 数据生态系统，完美诠释了技术如何推动从地震处理到生物信息学等多个垂直领域的创新。