由于人工智能革命，计划存储1艾字节或更多数据的公司数量正在飙升。为了帮助简化存储构建并缓解首席财务官的紧张情绪，MinIO上周提出了一种百亿亿次存储的参考架构，该架构允许企业使用行业标准的现成基础设施DataPod以可重复的100 PB增量达到百亿亿。
MinIO的联合创始人兼联合首席执行官AB Periasamy表示，十年前，在大数据繁荣的高峰期，企业之间的平均分析部署在个位数的PB级，只有最大的数据优先公司的数据集超过100 PB，通常在HDFS集群上。
Periasamy说：“现在情况已经完全改变了。100到200 PB是新的个位数PB，数据优先的组织正在朝着整合所有数据的方向发展。他们实际上将达到EB。”
生成式人工智能革命正在推动企业重新思考其存储架构。MinIO表示，企业正计划在本地构建这些大型存储集群，因为将它们放在云端的成本将高出60%至70%。通常情况下，企业已经投资了GPU，需要更大、更快的存储空间来为其提供数据。
MinIO的DataPad参考架构具有来自Dell、HPE和Supermicro的行业标准X86服务器、NVMe驱动器、以太网交换机和MinIO的S3兼容对象存储系统。
每个100 PB DataPod由11个相同的机架组成，每个机架由11个2U存储服务器、两个机架顶部（TOR）第2层交换机和一个管理交换机组成。机架中的每台2U存储服务器都配备了一个64核单插槽处理器、256GB RAM、一个双端口200 Gbe以太网NIC、24个2.5英寸U.2 NVMe驱动器托架和1600W冗余电源。该规范要求使用30TB的NVMe驱动器，每台服务器的原始容量总计为720 TB。
Periasamy是超级计算中使用的Gluster分布式文件系统的共同创建者，他说，由于对开发人工智能的突然需求，企业现在正在采用高性能计算领域人们多年来一直在使用的可扩展性概念。
“这实际上是我们在超级计算案例中使用的一个简单术语。我们称之为可扩展单元，”他告诉Datanami和HPCwire。“当你构建非常大的系统时，你甚至是如何构建和运输它们的？我们以可扩展的单元交付。这就是他们规划一切的方式，从物流到推出。核心运营系统是根据可扩展单元设计的。这也是他们扩展的方式。
他继续说道：“在这种规模下，你不会真的想到‘哦，我要再增加几个驱动器、几个机柜、几个服务器’你不做一台服务器，两台服务器。你从机架单位的角度思考。现在我们谈论的是exascale，当你看到exascale时，你的单位是不同的。我们谈论的那个单位是DataPod。”
在过去的18个月里，MinIO与足够多的客户合作，制定了百亿亿次计划，在参考架构中定义了核心原则，希望这能简化客户未来的生活。
Periasamy说：“我们从顶级客户那里学到了什么，现在我们看到企业正在出现一种共同的模式。我们只是在告诉客户，如果你遵循这个蓝图，你的生活会很容易。我们不需要重新发明轮子。”
MinIO首席营销官Jonathan Symonds表示，MinIO已经与多个客户验证了这种架构，并可以保证它可以扩展到艾字节甚至更多的数据。
西蒙兹说：“这只会减少方程式中的摩擦，因为它们不会来回移动。这有助于他们‘这就是如何思考问题’。我想从A、计量单位、可构建单位、B、网络部件和C的角度来思考这个问题，这些是供应商的类型，这些是盒子的类型。”
MinIO与戴尔、HPE和Supermicro合作提出了这种参考架构，但这并不意味着它仅限于他们。客户可以将其他硬件供应商纳入考虑范围，甚至在构建DataPds时混合搭配他们的服务器和驱动器供应商。
Symonds说，企业担心其可扩展性会达到极限，这是MinIO在设计架构时考虑到的。
他说：“‘聪明的软件，愚蠢的硬件’在很大程度上嵌入了DataPd提供的语料库中。现在你可以考虑一下，好吧，我可以用一种我能理解经济学的方式来规划未来，因为我知道这些东西的成本，我能理解其对性能的影响，特别是它们可以线性扩展。因为这是一个巨大的问题：一旦你能达到100 PB、200 PB或高达1 EB，这就是大规模性能的概念。这就是巨大的挑战。”
MinIO在其白皮书中公布了平均街头定价，硬件为每月1.50美元，MinIO软件为每月3.54美元。以每月每TB约5美元的速度计算，100PiB（pebibyte）系统每月的成本约为50万美元。将其乘以10，得到艾字节系统的粗略成本。
Periasamy说，巨大的成本可能会让你三思而后行，但重要的是要记住，如果你决定在云中存储那么多数据，成本将高出60%到70%。此外，他补充道，如果数据还没有转移到云端，实际将花费更多。
Periasamy说：“即使你想把数百PB的数据放到云端，你最接近的东西就是UPS和FedEx。即使网络是免费的，你也没有网络上的带宽。但与存储成本相比，网络非常昂贵。”
他说，当你考虑到客户通过使用自己的GPU集群可以在计算方面节省多少钱时，节省的钱真的会加起来。
Periasamy说：“GPU在云端的价格贵得离谱。一段时间以来，云计算真的很有帮助，因为这些供应商可以采购当时所有可用的GPU，这是进行任何GPU实验的唯一途径。现在这种情况正在缓解，客户们发现，通过云计算，他们不仅在存储方面，而且在隐藏的部分——网络和计算侧——节省了大量成本。这就是所有节省巨大的地方。”
