SK海力士与洛斯阿拉莫斯核实验室（LANL）合作开发计算对象存储系统（OCS），并将在FMS 2024上展示。
它涉及将对象数据存储在 NVMe SSD 上的 Parquet 文件中。当 LANL 想要进行大规模模拟运行时，OCS 会对 SSD 上的数据进行预处理，以减少发送到分析服务器的数据集。
其背景是，在 HPC 中，物理模拟数据分析需要将存储节点中保存的大量数据馈送到计算节点进行处理。这需要网络带宽和计算节点中有足够的内存来保存处理数据集。
但是，SK海力士表示，“分析所需的实际数据只是总数据的一小部分。计算存储可用于减少数据传输量，只需选择处理数据集所需的数据，它说，可以说是预处理它。”
其目的是减少分析物理模拟数据所需的时间，在科罗拉多州丹佛举行的Supercomputing 2023活动中，SK海力士展示了其与LANL合作的原型OCS系统，速度提高了>6.5倍。该公司声称OCS“可以在没有计算节点帮助的情况下独立执行分析”，并声称这凸显了“它作为HPC计算存储的未来的潜力”。
据说 OCS 具有数据感知能力。这是因为基于块的存储除了其逻辑块地址和范围之外，对其数据内容一无所知。对象存储系统存储元数据，其中可以包括数据内容标识符，例如 ID、键、名称等。然后，键值计算存储驱动器 （KVCSD） 上的本地处理可以使用此索引元数据来选择所需的数据项。
KVCSD是一种硬件加速的键值存储，可以基于已有的键值存储，如RocksDB和LevelDB。SK海力士、LANL和NVIDIA的一篇可下载的研究论文中对此进行了描述：“KV-CSD：用于数据密集型应用的硬件加速键值存储”。这意味着 KV-CSD 由一个 NVMe SSD 和“一个片上系统 （SoC） 组成，该组件在 SSD 顶部实现有序键值存储”。该 SoC 具有 4 个 ARM Cortex A53 CPU 内核、8GB DDR4 RAM 和 Ubuntu 操作系统。这实现了一个基于 LSM 树的 KV 存储。
声称的结果是：“通过卸载处理，KV-CSD简化了数据插入，减少了后台数据重组和查询处理的主机设备数据移动，并且与当前最先进的软件键值存储相比，在真实科学数据集上显示出高达10.6倍的写入时间和高达7.4倍的查询速度。
该论文指出：“通过直接在设备中实现键值存储管理，KV-CSD提供了利用低级存储接口（如Zoned Namespace）来优化性能的机会，而软件键值存储必须依赖于底层文件系统和操作系统来相应地采用这些优化。事实上，KV-CSD 有一个使用 PCIe gen 15 的 3TB NVMe 分区命名空间 SSD。
OCS 项目涉及使用 Apache 分析生态系统的分析软件堆栈，包括 Substrait 和 Arrow。Substrait 提供了分析查询计划的标准和开放表示，使部分查询能够从基于 S3 的存储服务器向下推送到 OCS 计算存储，特别是用作后端存储的基于对象的计算存储阵列 （OCSA）。
在那里，索引技术用于筛选存储的 Parquet 文件数据集，并仅选择查询所需的数据。Apache Arrow 软件具有与语言无关的列式内存格式，用于平面和分层数据，具有通用的传输格式。它可用于将此类查询结果（减小的数据集）备份堆栈，使用少得多的网络带宽传输到不需要像以前那样多内存的分析服务器。
SK海力士和LANL表示：“通过将这种索引功能推近存储设备，可以节省数量级的数据移动。”
在 FMS 2024 上展示的 OCS 使用 Paraview/VTK（可视化工具包），Substrait 将分析查询计划的一部分发送到 OCS 系统。
SK海力士内存系统研究主管Sungsoo Ryu表示：“这种新颖的数据处理方法最大限度地减少了分析应用程序和存储之间的冗余数据传输，并减轻了存储软件堆栈的重量。这加快了数据密集型应用程序的性能，例如大数据分析、人工智能等。SK海力士正在努力与行业合作伙伴合作开发分析生态系统。
洛斯阿拉莫斯高性能计算部门负责人Gary Grider表示：“在Apache柱式分析等行业标准生态系统的推动下，我们的大规模索引工作正在取得巨大成果。
