您的位置: 网界网 > 存储 > 正文

如何掌控存储对虚拟机的影响

2010年07月23日 15:30:17 | 作者:佚名 | 来源:比特网 | 查看本文手机版

摘要:三年前,IBM系统存储总经理Andy Monshaw在演讲时曾经说过:“在2005年之前,数据量仍在可控范围内,因为在那个时候人们有能力预测明年将有多大的存储需求。”但此后,由于数据量的急速上升、各种法律规定的不断增多以及人们对数...

标签
存储
虚拟机

三年前,IBM系统存储总经理Andy Monshaw在演讲时曾经说过:“在2005年之前,数据量仍在可控范围内,因为在那个时候人们有能力预测明年将有多大的存储需求。”但此后,由于数据量的急速上升、各种法律规定的不断增多以及人们对数据的复杂度(比如数据挖掘)要求不断提高,存储需求开始剧烈增长。

本世纪初期,IT经理[注]们通过持续改进,基本上能够控制成本,同时获得较好的运营效果,如使用更好的维护方式和更充分地利用现有的存储容量。但从 2005年开始,数据量的增长速度迅速加快,控制成本变得越来越难,于是越来越多的IT经理选择了服务器和桌面计算机的虚拟化

服务器与存储间的矛盾

服务器虚拟化能够使一台物理服务器成为多个用户的虚拟机,每个虚拟机不仅需要拥有20GB的操作系统空间,还需要自己的存储空间、备份空间和存储I/O。随着越来越多的用户要求运行各式各样的应用程序,有越来越多的I/O密集进程启动,使虚拟服务器变得杂乱无章。

改进的自动分配系统使配置新的虚拟机变得十分容易,几分钟就可以完成。许多企业目前拥有虚拟化革命以前十倍数量的操作系统。Gartner Group在其“2009企业存储关键问题”报告中指出,自从“灵活的服务器虚拟化部署工具需要共享存储以来,许多企业开始初次部署SAN和NAS……结果,存储适配器突然之间变成了应用程序性能的瓶颈,在传统的备份方式环境下问题尤其多。” 这些问题包括:

大量消耗存储网络空间;

剩余存储网络资源紧张;

备份数据激增;

频繁地需要增加新的存储空间;

存储结构、存储管理、数据复制的复杂度增加。

服务器虚拟化使我们不得不将存储在低成本、高容量磁盘驱动器中的操作系统数据转移到SAN/NAS环境中,而往往使SAN /NAS每GB存储量的成本更高。此时,存储虚拟机可能会(很多情况下已经)带来巨大的成本。由于维持存储的全生命成本大约是购买价格的7倍,因此,使用新的技术在虚拟化环境中优化存储从而防止存储膨胀,变得至关重要。

如何平衡与优化

如果管理得当,虚拟化服务器环境中的SAN/NAS存储配置能够减少存储数据的成本、提高性能、简化操作。通常情况下,用户可以优化经典的 “cheaper-better-faster”三角形的两个边,但无法优化全部的三个边,因为目前还不存在“三赢”的方法。

下面我们将比较6种虚拟存储管理技术,并评价哪种技术或混合技术能够最佳地应付何种数据管理的挑战。

良好的虚拟化服务器环境需要服务器工作小组、网络工作小组和存储工作小组紧密团结在一起。虽然这些部门可能会变得越来越专业化,但是为了建立平衡的服务器—存储策略,每个工作组必须了解整体的优先权、进程以及其他工作组的需求。使用虚拟服务器的存储计划需要系统能够高效地满足数据增长、成本控制和性能方面的需求。

下面是几种节约存储的方法,不得不说的是,其中没有一种是完美的。

虚拟机操作系统镜像的重复数据删除[注]。删除几乎相同的操作系统镜像数据,能够极大地减少存储空间的需求量。

为虚拟机实施分层存储。根据不同类型数据的相对离散度、优先权和访问频率,将其保存到不同的存储层中。
整合SAN。后面会讨论到几种简化SAN的方法。

考虑NAS。用NFS对虚拟机存储和重复数据删除简化管理。

使用快照功能。通过快照功能得到几种完整操作系统镜像的“黄金拷贝”,也就是它们的快照。这样,大量的虚拟机都可以存储在这几个完整操作系统镜像空间里。

重复数据删除备份。重复数据删除备份在虚拟服务器环境中能够带来独特的益处。

操作系统镜像的重复数据删除

在虚拟环境中,每个操作系统镜像的80%~90%是相同的。举例来说,每位用户的Windows启动界面都是一样的,在这些操作系统中,只有一些诸如主机名称和注册表数据等系统信息是不同的。而且,操作系统镜像对磁盘I/O性能的影响也不大。目前,有些厂商提供主存储器的重复数据删除工具,使用该工具可以使操作系统镜像的数量减少70%以上,而对使用性能影响很小。某著名存储厂商还保证操作系统重复数据删除功能可以减少至少50%的空间使用量。

案例 虚拟机存储重复数据删除得到了越来越广泛的使用。如某大型保险公司拥有400TB以上的主存储容量和200个虚拟服务器,每个虚拟服务器拥有20GB以上的操作系统镜像。在对虚拟机操作系统镜像进行重复数据删除后,这家公司在今后三年之内将节省75万美元的成本。

使用存储分层

经理们不仅会让存储工作团队明确新的存储需求量,还会确定未来存储数据的类型。存储工作团队可以为这些不同类型的数据安排不同的存储区域。有些访问频率较低的数据将被安排在访问速度较慢的第三层,第三层存储的成本比第一层要便宜5~7倍。访问频率更高的数据则被安排在第二层,比如应用程序及其相关数据。而访问频率最高的数据则被安排在第一层,这些数据往往是一些经常改变的资料或者数据库。

请注意,有些虚拟化工具,如VMware Site Recovery Manager (SRM)目前要求恢复单一虚拟机所有数据必须存储在一个单独的ESX存储池中。

案例 某金融服务公司拥有超过300TB的存储量,虚拟机环境杂乱无章。该公司将操作系统数据存放在便宜的第三层存储中,将经常使用的应用程序和用户数据放在第二层和第一层。于是,公司70%的存储量都存于第三层了,这比之前将所有虚拟机数据都存放在第一层里要减少75%的成本。

整合SAN

过去的大型光纤通道SAN能够支撑成百上千的物理服务器,而且每个光纤都有12个以上的交换机。现在虚拟机服务器能够以10∶1、15∶1、甚至20∶1的比例整合客户账户。这种模式要求更宽、更快的数据管线和更少的端口,建立更均衡、更快的SAN。上世纪90年代,简单双向SAN架构足可以应付中型以下企业的需求,而目前SAN的带宽已经达到8Gbps,这对性能的提高帮助很大。

有些虚拟化管理产品,如VMware ESX 3.x,并不支持存储多路径平衡,并且同一时间只支持一个I/O通道。VMware ESX 4.x现在允许第三方的多路径软件(如EMC的PowerPath VE)同时调用多个I/O路径。这减少了至少50%的端口数量和带宽需求,同时减少至少50%的成本。虽然高性能的端口可能更昂贵,但需要的数量变少了。

另一个选择是N_Port virtualization (NPIV),NPIV允许单一HBA支持多个虚拟主机总线适配器(vHBAs)。每个用户操作系统在SAN中都拥有一个自己的ID,提高了可靠性和安全性。存储管理员能够使用现有工具观察从虚拟服务器到存储阵列的SAN进程。这给排查问题、I/O映射和容量规划等工作带来了方便。

考虑NAS

除了使用管线通道或者基于SAN的iSCSI外,虚拟存储还可以通过NFS在NAS硬件上实现。NAS设备为虚拟服务器提供随时可以使用的文件系统,使对基于服务器的文件系统(如VMFS)不再有需求。有利就有弊,NAS相比SAN的缺点在于其安全性较低、速度较慢。不过如果部署得当,使用独立VLAN和多个千兆以太网或万兆以太网连接,NAS也能够达到与光纤通道SAN同样的安全性和速度,同时复杂度和成本更低。

的优势包括:

虚拟机服务器操作系统的重复数据删除能够显著地减少存储需求。该功能包含在某些厂商的NAS工具中,如EMC的Celerra和NetApp的FAS。

现有的低成本千兆和万兆以太网可以代替复杂和昂贵的光纤通道SAN。

管理起来更简单。比如,存储管理员能够在不影响主机系统的情况下将NAS存储扩展给虚拟服务器。而SAN则需要扩展LUN或创建和提供更多的LUN给服务器,这将扩展文件系统,于是不得不给其他的管理员主机带来改变。

部署NAS需要的最佳方案和注意事项有:

不要远距离路由NAS,因为延迟问题会变得很严重;

在UDP和超长帧上使用NFS v3,这会最大化发挥系统性能;

可以考虑使用独立的VLAN,保证安全性和传输的独立性;

只提供有限的NAS支持。

案例 某保健组织拥有200TB以上的主光纤通道存储,在NAS上部署了VMware后(+微信关注网络世界),简化了管理工作,本地操作系统重复数据删除也变得容易了。这家组织大大地减少了原来使用SAN时候的虚拟服务器连接成本,也减少了支持虚拟机的存储空间需求。

使用快照功能

使用基于阵列的操作系统镜像快照能够快速经济地部署新的虚拟机,这一切只需要给虚拟机服务器提供可写的、空间优化的完整“黄金操作系统镜像”快照。系统可以利用快照快速地建立新的虚拟机,节省大量的磁盘空间。快照镜像的更新存放在一个不同的位置,通常命名为“save- vol”或者“snap reserve”,每个操作系统镜像均可分别更新,保持其独特的个性化设置。通常,许多压缩后的操作系统快照只需要几个完整镜像所需的空间。

这种方法的最佳方案是:页面文件存储在第一层和第二层中,而不是在基于快照的C盘,因为页面文件改变很快,使用也很频繁。

快照需要为每个虚拟机账户开辟一块新的卷或者分离的NFS卷。“黄金操作系统镜像”的更新档并不会自动传播到这些卷中。解决的方法有两种:

一个是为每个基于快照的操作系统实例配置更新档。这很简单,但是空间使用效率不高,尤其是当save-vol越来越大时。

另一个是为“黄金镜像”配置更新档,然后用新的快照重新部署所有的操作系统实例。保存系统状态信息(注册表、程序文件、主机名称等)为备份。相比第一种方法,这种方法的难度要大得多,但是保证了操作系统的标准和安全性,也能够控制更新档越来越大带来的存储需求增长。

操作系统镜像快照的部署能够节省大量的成本和预算。举个例子来说,存储100个完整的20GB操作系统镜像拷贝需要2TB的存储空间。如果每 GB需要20美元,那么就需要4万美元左右。使用快照镜像能够以20倍的比率压缩存储需求。相同的100份拷贝通过快照部署则只需要100GB的磁盘空间,成本降低至2000美元。

案例 一家大型出版企业拥有300TB的主存储容量,使用阵列快照为海外作者和开发商提供操作系统镜像,获得了更快的速度、更高的灵活性,节省了空间和成本。由于这家企业的工作量随着出版数量而改变,快速使其能够迅速灵活地提供VDI桌面。
备份存储的重复数据删除

如果虚拟镜像中重复数据太多,那么使用重复数据删除可以减少95%的备份存储所需空间。备份数据重复数据删除拥有很高的投资回报率,而几乎没有任何副作用。下列两种方法在虚拟环境中都可以得到很好的效果:

基于主机的备份重复数据删除(比如EMC的Avamar和Symantec的PureDisk)都能够代替现有的备份软件。主机重复数据删除将消耗更少的网络带宽。

基于目标的重复数据删除(比如Diligent Technologies、EMC的Data Domain unit、NetApp和 Quantum)实施起来更方便,而且与现有备份软件相兼容,但不会降低网络带宽负载。

虽然标准磁带备份相比磁盘和虚拟磁带库(VTL)备份更便宜,但当使用重复数据删除工具达到 100∶1的数据压缩率时,重复数据删除后的磁盘将接近磁带的存储能力。假设使用LTO-4磁带备份数据,其成本为200美元/TB,那么,备份 100TB的虚拟机数据就需要2万美元。如果我们假设压缩率为25∶1的重复数据删除磁盘的成本大约为1万美元/TB,则压缩前的购买成本为10万美元,这比磁带成本高得多,而在100∶1的压缩率下,这一成本下降至2.5万美元,这几乎与磁带备份的价格差不多。从商业角度来看,使用重复数据删除磁盘存储拥有一定的经济性。

重复数据删除磁盘存储相比磁带的优点如下:

灾难恢复备份的复制成本更低;

消耗的电能、占用空间和制冷需求更少,有益于保护环境;

远程复制时节省带宽;

相比磁带来说减少了管理上的问题;

通过SLA显著地减少商业危险,同时相比磁带拥有更快的恢复速度。

案例 现在备份数据重复删除已经非常常见。举个例子来说:某大型区域性银行组织拥有200TB以上的主磁盘存储空间,支持的虚拟服务器有 300~400个。使用基于源端的虚拟机备份重复数据删除,系统几乎取消了备份存储系统、软件及其维护,与此同时提高了系统的灾难恢复能力。

参考资料

1.重复数据删除:是一种数据缩减技术,通常用于基于磁盘的备份系统,旨在减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复...详情>>

2.CIO:(Chief Information Officer),首席信息官,亦可称之为信息主管、信息总监等,是企业中信息化建设“统筹”人,是企业中不可或缺的高级主管职位之一,主要负责企业内部信息...详情>>

[责任编辑:storage liu_xinling@cnw.com.cn]