Taboola自称是世界上最大的发现平台,每月为超过10亿人提供3600亿个个性化内容推荐。Taboola利用深度学习技术,使用关于用户兴趣和信息消费的独特数据,在适当的时间向适合的人推荐合适的内容。Taboola的内容推荐出现在诸如彭博社、NBC新闻、MSN、独立报和天气频道等知名网站上,还有许多其他网站。
Taboola的算法分析客户内容并提取大量的“信号”,这些“信号”用于将该内容与最有可能与之互动的人匹配。深度学习技术先向此类人推荐内容,然后根据人们对推荐的实际反应进行精细化的定位。
使用人工智能(AI)来预测受众兴趣是Taboola模型的核心,但对于Taboola的IT副总裁Ariel Pisetzky来说,这并不是最吸引他的技术挑战。[1] 对他来说,最大的挑战是如何在有限的预算限制下最佳地扩展Taboola的系统的数学和工程问题。
“如今在开源社区中有很多可以从单个服务器扩展到数千个节点的扩展性软件解决方案,所以那方面的工作已经完成了,”Pisetsky说道。“现在我们需要确保能够以一种连贯的方式将所有这些谜题的部分连接在一起,采取让少数人来管理大型安装基地的方式。”
Taboola在全球范围内拥有九个数据中心,每个数据中心都包含自己的高性能计算(HPC)基础设施,基本上是由小型超级计算机组成。每个数据中心都需要大规模的存储能力来供应其内容推荐引擎核心的机器学习(ML)算法。
目前,Taboola每天处理约100 TB的数据,并在其数据中心分布着相当于SSD存储量数十PB的存储容量。
重要的是,Taboola使用超融合基础架构(HCI),意味着其数据中心使用多个独立的“构建块”计算系统,每个系统都包含自己紧密集成的计算机、网络和存储组件。这种架构能够很好地满足Taboola推荐引擎的需求,因为它对SSD存储的可靠性要求很高。
如果数据中心的存储与计算元素分开处理和隔离,那么单个SSD的可靠性就不那么重要,因为可以更容易地识别、定位和更换故障单元。但由于SSD分布在数百甚至数千个超融合系统中,识别和更换故障单元的过程更加耗时,并且随着故障率的微小增加,维护成本迅速上升。
因为Taboola IT的一个关键目标是使尽可能少的人员管理最大的安装基础,所以SSD的可靠性是公司购买决策中的关键因素。性能和价格只在达到了较高的可靠性门槛后才成为考虑的因素。
从多个供应商购买SSD。然而,在Taboola的经验中,其他供应商的SSD可靠性不符合他们的质量和可靠性需求。Taboola决定转而购买Solidigm SSD来满足大部分数据中心存储需求。Solidigm SSD提供了Taboola所需的坚固可靠性和高水平的性能,同时价格也具有吸引力。Solidigm是SSD耐用性方面的行业领导者。
Solidigm的第一代四级单元(QLC)NAND驱动器,即Solidigm(前身为Intel)SSD D5-P4320,其耐用性已经比竞争对手的QLC NAND SSD高出多达4倍。而新出的Solidigm(前身为Intel)SSD D5-P5316为QLC NAND SSD提供了行业领先的持久性,每天达到0.41次盘写入(DWPD),相比前一代Solidigm QLC NAND SSD,随机写入持久性提高了多达5倍。[2]
大多数Taboola的工作负载都围绕着向机器学习算法提供数据。由于这是一种以读取为主的工作负载,QLC SSD非常适合执行大部分存储工作,因为它们通常提供更高的容量,并以每千兆字节(GB)的成本低于三级单元(TLC)SSD。对于一些特定类型的工作负载,例如大型Microsoft SQL Server数据库,Taboola发现值得投资TLC驱动器,以在写入密集环境中获得更好的耐用性和可靠性。
以Solidigm SSD为基础的存储基础设施,Taboola能够更加自信地扩展其推荐引擎业务,并确保存储随时可用。此类SSD在Taboola的分散式、超融合存储架构中具有很高的可靠性,从而控制了维护成本。这反过来有助于公司应对IT人员短缺的问题。Pisetsky表示:
“服务器与工程师的比例是一定的,每年毕业的工程师人数是有限的,所以我们必须不断在利用现有资源方面上做得更好。” [1] Taboola通过使用更大和更可靠的SSD来扩展其运营,而避免了按照基础设施比例扩大工作人员规模的需求。
而且Taboola知道,随着时间推移购买的SSD,将始终从Solidigm对不断发展的SSD技术保持前沿的承诺中获得性能优势。
与巨大的超级规模公司相比,Taboola并不是一个大型公司。相反,拥有10,000台服务器的Taboola处于1,000台服务器至50,000台服务器范围内的许多中型公司的规模。
SSD可靠性作为首要考虑因素的存储策略的成功,这可能也适用于许多其他公司。 关于Taboola Taboola是全球最大的开放网络内容发现平台,建立在机器学习(ML)和大规模数据集上的推荐引擎。
它在全球范围内运行着9个数据中心,拥有10,000台服务器,并具备数以百万计的SSD存储容量。 可靠性是Taboola在购买SSD时的首要前提。性价比是其次重要的因素。几年前,因其可靠性和性能,Taboola选择一致使用Solidigm(前身为Intel®)的SSD。