Amazon S3推出高性能存储 可提供个位数毫秒的数据访问

来源:网界网 | 2023-12-07 11:36:00

  在最近的 re:Invent 大会上,AWS 宣布全面推出 S3 Express One Zone,这是一种高性能的单可用区存储类,可提供个位数毫秒的数据访问。为了降低请求成本,新的存储类旨在处理 AI/ML 训练和财务建模中的数据。

  S3 Express 单区存储类可以扩展为每分钟处理数百万个请求,依赖于现有 API,但需要新的存储桶类型、新的身份验证模型和新的命名约定:它具有分层命名空间,并以类似目录的方式存储对象键名称,目录存储桶名称在区域内是唯一的。AWS 副总裁兼首席布道师 Jeff Barr 解释了为什么存储类主要受益于小型对象:

  这个新的存储类可以处理任何大小的对象,但对于较小的对象尤其有用。这是因为对于较小的对象,第一个字节的时间与最后一个字节的时间非常接近。在所有存储系统中,较大的对象需要更长的时间才能流式传输,因为在传输过程中要下载的数据更多,因此存储延迟对读取对象的总时间影响较小。

  在 S3 Express One Zone 的建议使用案例中,AWS 包括机器学习和人工智能训练、交互式数据分析、高性能计算 (HPC)、财务建模、实时广告和媒体内容工作负载。Mural 的首席工程师兼《数据工程周刊》的编辑 Ananth Packkildurai 写道,它如何影响数据基础设施:

  S3 Express将打通Serverless数据架构,将存储和计算从各个层面的主流数据处理行业中分离出来。我们将看到一些新兴模式,例如将流直接摄取到 S3 Express、将 S3 Express 复制到 S3 标准以实现容错,以及在 S3 Express 之上进行流处理。

  对象在客户选择的单个可用区中存储和复制,允许存储和计算资源共置,从而进一步减少延迟。即使存储成本要高得多,Packkildurai 也补充道:

  S3 Express 显著降低了 TCO (...)我相信 S8 Express 的成本是 S3 Standard 的 3 倍,这比运行多个分布式和有状态系统来实现相同的数据处理能力更能忍受。

  Confluent 的技术专家 Jack Vanlightly 解释了为什么新课程不是他所希望的:

  S3 Standard 可以很便宜,而且绝对非常耐用。它的致命弱点是高、不可预测的延迟 (...Express One Zone 不会勾选“便宜”复选框,因此复制的、容错的缓存实现可以继续轻松休眠,因为它们仍然具有相关性和高度价值。

  在 re:Invent 上与 S3 相关的单独公告中,Mountpoint for Amazon S3 和 EMR 现在支持新的存储类。

  S3 Express 单区旨在提供 99.95% 的可用性和 99.9% 的可用性 SLA,起价为 0.16 美元/GB/月。新订阅目前仅在北弗吉尼亚州、俄勒冈州、东京和斯德哥尔摩地区提供。

相关阅读

每日精选