华为推出存储解决方案OceanStor A310 面向AI模型训练器

来源:网界网 | 2023-10-22 23:53:57

  上周,华为在GITEX GLOBAL 2023上首次推出了其新的人工智能(AI)存储模型OceanStor A310,这标志着华为试图解决围绕大型模型应用程序的某些行业挑战。OceanStor A310专为大型人工智能模型时代设计,旨在为基础模型培训、行业模型培训和细分场景模型推理提供存储解决方案。

  OceanStor A310是一个庞大的数字图书馆中的超高效图书管理员,可以快速获取信息。相比之下,另一个系统——IBM的ESS 3500——是一个较慢的图书管理员。OceanStor A310获取信息的速度越快,人工智能应用程序的工作速度就越快,能够及时做出明智的决策。这种对信息的快速访问使华为的OceanStor A310脱颖而出。

  OceanStor A310的优势似乎在于它能够加快人工智能的数据处理速度。据报道,与IBM的ESS 3500相比,华为最新的全闪存阵列为英伟达GPU供电的速度几乎是每个机架单元的四倍。这是根据使用Nvidia的Magnum GPU Direct的方法,其中数据直接从NVMe存储资源发送到GPU,而不涉及存储主机系统。

  华为的OceanStor A310具有高达400GBps的顺序读取带宽和208GBps的写入带宽。然而,开源和开源框架对这些数字的影响尚不清楚。

  深入研究其机制,OceanStor A310被设计为一种深度学习数据湖存储解决方案,有可能为混合工作负载提供无限的水平可扩展性和高性能。

  “我们知道,对于人工智能应用,最大的挑战是提高人工智能模型训练的效率,”华为产品管理和营销部的Evangeline Wang在科技媒体Blocks and Files分享的一份声明中表示。她补充道:“在人工智能训练期间,存储系统面临的最大挑战是不断将数据输入CPU和GPU。这需要存储系统提供最佳性能。”

  为了解决这个问题,每个OceanStor最多可以支持96个NVMe SSD、处理器和一个内存缓存。用户最多可以集群4096个A310,共享一个支持应用程序标准协议的全局文件系统。OceanStor A310旨在通过SmartNIC和大规模并行设计最大限度地缩短数据传输时间。

  Block and Files在一项将华为的解决方案与其直接竞争对手进行比较的基准研究中表示:“华为的A310具有较小的节点,在顺序读取和写入方面总体上是最快的,其顺序写入/读取带宽为41.6/80GBps,而IBM的为30/63GBps。”

  OceanStor A310的推出正值人工智能行业寻求高效的数据存储和处理解决方案之际。华为的这项努力旨在解决当前的一些挑战,并可能有助于实现简化的人工智能模型训练。

  华为OceanStor A310正试图挑战其他供应商,推动人工智能行业进入一个可能创新和高效的新时代。

相关阅读

每日精选