由于人工智能革命，计划存储一 EB 或更多数据的公司数量正在飙升。为了帮助简化存储扩建并安抚首席财务官的胃口，MinIO上周提出了一个百万兆次级存储的参考架构，允许企业使用行业标准的现成基础设施（称为DataPod）以可重复的100 PB增量达到百万兆次级。
MinIO联合创始人兼联合首席执行官AB Periasamy表示，十年前，在大数据热潮的高峰期，企业的平均分析部署量为个位数PB，只有最大的数据优先公司的数据集超过100 PB，通常在HDFS集群上。
“现在已经完全改变了，”Periasamy说。“100 到 200 PB 是新的个位数 PB，数据优先的组织正朝着整合所有数据的方向发展。它们实际上要达到 EB 级。
生成式 AI 革命正在推动企业重新思考其存储架构。MinIO表示，企业正计划在本地构建这些大型存储集群，因为将它们放在云端的成本将高出60%至70%。很多时候，企业已经投资了 GPU，并且需要更大、更快的存储来保持数据供应。
MinIO 的 DataPod 参考架构采用 Dell、HPE 和 Supermicro 的行业标准 X86 服务器、NVMe 驱动器、以太网交换机和 MinIO 的 S3 兼容对象存储系统。
每个 100 PB DataPod 由 11 个相同的机架组成，每个机架由 11 个 2U 存储服务器、两个架顶式 （TOR） 第 2 层交换机和一个管理交换机组成。机架中的每个 2U 存储服务器都配备了一个 64 核单插槽处理器、256GB RAM、一个双端口 200 Gbe 以太网 NIC、24 个 2.5 英寸 U.2 NVMe 驱动器托架和 1,600W 冗余电源。该规范要求使用 30TB NVMe 驱动器，每台服务器总共 720 TB 的原始容量。
由于对开发 AI 的突然需求，企业现在正在采用 HPC 世界中人们多年来一直在使用的可扩展性概念，Periasamy 说，他是超级计算中使用的 Gluster 分布式文件系统的共同创建者。
“这实际上是我们在超级计算案例中使用的一个简单的术语。我们称之为可扩展单元，“他告诉 Datanami。“当你构建非常大的系统时，你如何构建和发布它们？我们以可扩展的单位交付。他们就是这样规划一切的，从物流到推广。核心操作系统是以可扩展的单元为设计理念的。这就是他们扩张的方式。
“在这种规模下，你不会真的想着'哦，我要再增加几个驱动器，更多的机箱，更多的服务器，'”他继续说道。“你不会做一台服务器，两台服务器。您从机架单元的角度考虑。现在我们谈论的是百亿亿次级，当你看到百亿次级时，你的单位就不同了。我们谈论的那个单元就是DataPod。
在过去的 18 个月中，MinIO 已经与足够多的百万兆次级计划客户合作，因此在参考架构中定义核心原则时感觉很舒服，希望它能在未来简化客户的生活。
“我们从一线客户那里学到的东西，现在我们看到企业出现了一种共同的模式，”Periasamy 说。“我们只是在告诉客户，如果你遵循这个蓝图，你的生活就会变得轻松。我们不需要重新发明轮子。
MinIO 首席营销官 Jonathan Symonds 说，MinIO 已经与多个客户验证了这种架构，并且可以保证它可以扩展到 EB 级甚至更高的数据量。
“它只是消除了很多摩擦，因为它们不会来回走动，”西蒙兹说。“这对他们来说很有帮助，'这就是思考问题的方式。'我想用 A、计量单位、可建造单位来考虑它;B， 网络片;C，这些是供应商的类型，这些是盒子的类型。
MinIO 曾与 Dell、HPE 和 Supermicro 合作推出此参考架构，但这并不意味着它仅限于他们。客户可以将其他硬件供应商加入到这个等式中，甚至可以在构建自己的 DataPod 时混合搭配他们的服务器和驱动器供应商。
Symonds 说，企业担心达到其可扩展性的极限，这是 MinIO 在设计架构时考虑的因素。
“'智能软件，笨拙的硬件'已经深深地嵌入到DataPod提供的语料库中，”他说。“现在你可以想一想，然后说，好吧，我可以以一种我能理解经济学的方式规划未来，因为我知道这些东西的成本是多少，我能理解它对性能的影响，特别是它们可以线性扩展。因为这是一个巨大的问题：一旦您可以达到 100 PB 或 200 PB 或高达 EB，那么这就是大规模性能的概念。这是一个巨大的挑战。
在其白皮书中，MinIO公布了平均街头定价，硬件价格为每TB每月1.50美元，MinIO软件价格为每月每TB3.54美元。以每月每 TB 约 5 美元的速度计算，100PiB（皮字节）系统每月的成本约为 500,000 美元。将该值乘以 10，得到 EB 级系统的粗略成本。
Periasamy说，巨大的成本可能会让你多看两遍，但重要的是要记住，如果你决定在云中存储这么多数据，成本将高出60%到70%。此外，他补充说，如果这些数据还没有，那么将这些数据实际移动到云端的成本会更高。
“即使你想将数百PB的数据带入云端，你最接近的是UPS和FedEx，”Periasamy说。“即使网络是免费的，你也没有这种网络带宽。但是，与存储成本相比，网络成本非常昂贵。
他说，如果考虑到客户使用自己的 GPU 集群在计算方面可以节省多少成本，那么节省的成本就会真正增加。
“GPU 在云上贵得离谱，”Periasamy 说。“在一段时间内，云确实有所帮助，因为这些供应商可以采购当时可用的所有GPU，这是进行任何类型的GPU实验的唯一途径。现在这种情况正在缓解，客户正在弄清楚，使用co-lo可以节省大量成本，不仅在存储方面，而且在隐藏部分（网络和计算方面）。这就是所有节省的巨大地方。
