谷歌将推出两项新的云平台存储服务,为支持人工智能和机器学习应用程序的文件系统提供了更快的速度和方便数据访问。
现在可用的Google Storage Fuse使应用程序能够将谷歌云对象存储桶作为客户文件系统中的文件访问,从而无需重构应用程序代码。
Parallelstore提供私人预览,为那些希望在开发机器学习(ML)应用程序或高性能计算时最大限度地减少存储IOPS影响的客户提供了一个托管的并行文件系统。
这家超大规模企业还将销售Google Cloud NetApp Volumes,作为传统企业文件存储工作负载的托管服务。该服务现已推出,并得到谷歌的支持。它取代了NetApp支持的谷歌云上的托管文件服务。
NAND Research的分析师兼创始合伙人Steve McDowell表示,Google Storage Fuse和Parallelstore针对的是开发者,他们是谷歌的主要受众。
“谷歌一直是为技术受众服务的,”他说。
与AI并行融合存储
Google Storage Fuse建立在用户空间中的开源文件系统(Fuse)项目的基础上,该项目允许开发人员在Linux中为应用程序创建文件系统。Google Fuse可以作为托管或非托管服务,在客户的Linux环境中充当应用程序,并提供Google Kubernetes Engine集成。该应用程序支持机器学习框架PyTorch和TensorFlow。
谷歌云发言人表示,通过文件存储系统访问云对象存储,人工智能和ML开发人员可以通过在文件上使用成本较低的对象存储来节省开发资金。如果访问速度不是首要任务,开发人员也可以使用价格较低的较冷存储层。
Forrester Research的分析师Naveen Chhabra表示,Nasuni等其他云存储供应商已经提供了让对象存储充当本地化文件存储的功能。他说,为寻求文件系统的应用程序提供云对象存储,就好像它在本地可用一样,这是其他超规模应用程序尚未建立的一种有用的新功能。
他说:“如果这能像存储在本地一样提供可访问性,(那)将改变游戏规则。你听不到多少超级规模的人在谈论这种表现。”
Parallelstore为开源分布式异步对象存储(DAOS)带来了企业功能和托管功能,它在NVMe存储支持的商品硬件上创建了一个并行文件系统。英特尔之前在其现已停产的Optane NVMe存储产品中使用了DAOS。
并行文件系统以高IOPS和快速读取速度为目标,不太可能用于许多传统的企业工作负载,而是将目标客户定位为希望维护高利用率GPU进行数据处理的客户。谷歌声称,该服务将优于Lustre,后者是另一个在AWS等竞争云中可用的并行分布式文件系统。
Chhabra说,并行文件系统可以适用于需要快速读取数据的ML应用程序,但此类用例仍然是一个小型新兴市场,因此发布了私人预览版。