您的位置: 网界网 > 存储 > 正文

集群存储 石油勘探未来存储发展的方向

2013年10月26日 17:14:01 | 作者:李万里 | 来源:it168网站 | 查看本文手机版

摘要:随着大数据时代的到来,石油勘探行业数据量呈现爆发式增长,石油勘探使用大规模高性能计算服务器对采集的数据进行成像、分析等,所以其后端存储和处理面临着前所未有的挑战。

标签
大数据
集群存储
NAS存储

随着大数据[注]时代的到来,石油勘探行业数据量呈现爆发式增长,石油勘探使用大规模高性能计算服务器对采集的数据进行成像、分析等,所以其后端存储和处理面临着前所未有的挑战。

目前,石油勘探主要使用NAS存储提供的文件共享服务,但是前端大规模高性能计算集群对处理I/O带宽要求极高,但是NAS集群中机头节点数量是有限制的,所以后端存储很难支撑几十上百并发应用。如一个常规格式转换作业,处理的I/O带宽需求高,每个NAS节点的峰值带宽超过100MB/s,并行处理规模达到48个计算节点以上时,对后端网络带宽的需求超过GB级。所以,存储严重制约着石油勘探行业的高速发展。

集群存储是指将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。

由于近几年科技的高速发展,集群存储技术已经从科技实验室走到人们生活中,基于聚合带宽、海量容量等特点,集群存储能很好的应用在石油勘探等高性能计算领域毋庸置疑。

集群存储 石油勘探未来存储发展的方向

中博科创瀚海集群存储系统是一款针对海量数据及高并发IO应用而设计,集硬件平台、先进的分布式集群文件系统和智能管理功能于一体的产品。系统颠覆传统的基于机头转发读写数据的模式,应用可直接读取数据,从架构上彻底消除了传统存储系统的性能和容量扩展有限的瓶颈,可以支撑是有勘探行业更大规模的应用,更好的为大规模计算服务器提供集中存储服务,是石油勘探行业海量非结构化数据集中存储的最佳平台。其特点如下:

大容量

瀚海集群存储系统能够提供比传统存储架构更大的存储容量。瀚海集群存储系统单套最大支持400PB海量级的存储空间。尤其是在支持的文件数量上面,瀚海集群单一文件系统支持的文件数量可达十亿级别。

高扩展性

系统采用Scale-out扩展方式,性能和容量随存储节点数量的增加而线性增长,打破了传统SAN架构的扩展限制,可以很好的满足石油勘探企业未来随业务增长所带来的海量数据的存储空间和带宽的需求;避免由于用户需求的不断增长而带来的数据迁移和应用中断的问题,可随业务需求变化而动态调整资源,带宽、处理能力和存储容量;所有扩容操作均可以在线进行,无须中断应用的正常执行。

高带宽

瀚海集群存储系统采用数据和元数据分离技术,元数据服务器不参与实际数据传输,只用来建立传输会话,会话一旦建立,数据就直接在用户和存储系统之间进行传输(+微信关注网络世界),系统带宽最高达到100GB/S的速度,轻松应对大量的计算服务器的并发访问需求。

高可靠性

瀚海集群存储系统采用集群架构,在系统各个组成模块均采用集群的冗余机制和高效,准确的失效检测算法保证整个系统的高可用性。系统任一节点故障在被自动侦测到后,能够智能的进行自我修复,并且不影响前端应用的正常运行。瀚海集群存储系统通过将文件副本复制并且存储在不同的节点,在某一存储节点或者某几个存储节点发生故障时,系统会将自动将读写指令导向存放在其他存储节点上的文件副本,保持业务的连续性。对终端用户来说,这一过程是完全自动化、透明的,业务端几乎不会受到影响,从而保证了业务的100%可用性。

在石油勘探等高性能计算领域,分布式集群存储能最大限度的发挥其高容量、高带宽、高可用性和高扩展性的特点,同时也能推动高性能计算服务器集群的发展,所以集群存储在未来肯定会更多也更好的应用在石油勘探领域。

参考资料

1.大数据:(Big Data),研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ...详情>>

[责任编辑:存储 chai_shasha@cnw.com.cn]