HPE 是最新一家推出 GenAI 训练和推理产品组合的供应商,并计划在本周的 Nvidia GTC 2024 活动上宣布使用 Nvidia GPU 和微服务软件。
HPE 将边缘到数据中心、混合本地和公共云方法以及基于 Cray 的超级计算功能、企业 ProLiant 服务器、Aruba 网络、Ezmeral 数据结构和 GreenLake 引入 GenAI 桌面贮存。竞争对手戴尔在存储方面更强,而慧与在超级计算和边缘网络方面更强。两者在服务器技术方面大致相当,并且 HPE 可以说凭借其 GreenLake 方案在云计算方面进一步领先。
HPE 首席执行官兼总裁 Antonio Neri 表示:“从在本地、托管设施或公共云中训练和调整模型,到边缘推理,人工智能是一种混合云工作负载。HPE 和 Nvidia 有着悠久的合作创新历史,我们将继续提供共同设计的 AI 软件和硬件解决方案,帮助我们的客户加快 GenAI 从概念到生产的开发和部署。”
HPE 宣布:
配备 Nvidia 组件的 GenAI 超级计算系统的可用性
配备 Nvidia 组件的 GenAI 企业计算系统的可用性
使用 Nvidia NeMo 微服务的企业检索增强生成 (RAG) 参考架构
使用 Nvidia NIM 微服务的机器学习推理软件预览
计划的未来产品基于Nvidia的Blackwell平台
该超级计算系统在 SC23 上宣布为交钥匙预配置系统,采用液冷 Cray AMD EPYC 驱动的 EX2500 超级计算机,配有 EX254n 刀片,每个刀片均搭载 8 个 Nvidia GH200 Grace Hopper 芯片。它包括 Nvidia 的 AI Enterprise 软件,该系统可以扩展到数千个 GH200。
交钥匙版本是有限配置,最多支持 168 个 GH200,适用于 GenAI 训练。明显的比较是 Nvidia 的 SuperPOD 和 DGX GH200 版本,最多支持 256 个 GH200。戴尔的计算库中没有与 Cray 超级计算机相当的产品,并且是 SuperPOD 的坚定支持者。
HPE 的企业 GenAI 系统在 12 月的 HPE Discover Barcelona 2023 活动上进行了预览,该系统专注于 AI 模型调整和推理。它采用机架规模且经过预先配置,围绕 16 个 ProLiant DL380a x86 服务器、64 个 Nvidia L40S GPU、BlueField-3 DPU 和 Nvidia 的 Spectrum-X 以太网网络构建。该软件包括 HPE 的机器学习和分析软件、Nvidia AI Enterprise 5.0 软件以及用于优化 GenAI 模型推理的新 NIM 微服务、NeMo Retriever 微服务以及其他数据科学和 AI 库。
它的大小可以微调 700 亿参数的Llama 2 模型。据我们所知,16 节点系统将在六分钟内运行该模型。
HPE 机器学习推理软件处于预览阶段,使客户能够大规模部署机器学习模型。它将与 Nvidia 的 NIM 微服务集成,使用针对 Nvidia 环境优化的预构建容器来提供基础模型。
企业 RAG 参考架构旨在将客户的专有数字信息引入 GenAI,由 Nvidia 的 NeMo Retriever 微服务、HPE 的Ezmeral数据结构软件和用于文件存储的 GreenLake(与 VAST 数据软件配对的 Alletra MP 存储硬件)组成。
HPE 表示,该参考架构现已推出,将为企业提供创建定制聊天机器人、生成器或副驾驶的蓝图。
Nvidia 已宣布其 Blackwell 架构 GPU,HPE 将在未来的产品中支持这一点。