何时使用重复数据删除技术?

日期: 2014-11-04 作者:Alex Barrett翻译:陈德文 来源:TechTarget中国 英文

大数据与海量数据已经成为数据中心的主要业务,而重复数据删除与压缩是可以节约大量数据存储的技术。 只有备份还不够。重复数据删除与压缩即将成为主存储的必备功能。 重复数据删除是一种压缩技术,通过识别重复内容,进行去重,并在对应的存储位置留下指针,来最小化数据量。

这个指针通过给定大小的数据模式进行哈希创建。 也许在于你已经在备份系统上实施了重复数据删除备份和归档多年,问题在于:是否需要在主存储上运用重复数据删除与压缩技术? 并非所有的重复数据删除技术都一样。IT专业人士在将其添加到主存储环境之前,应该权衡其各自的特点。 何时使用重复数据删除 重复数据删除首先开始于创建数据。

接着是所有其他业务——备份……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

大数据与海量数据已经成为数据中心的主要业务,而重复数据删除与压缩是可以节约大量数据存储的技术。

只有备份还不够。重复数据删除与压缩即将成为主存储的必备功能。

重复数据删除是一种压缩技术,通过识别重复内容,进行去重,并在对应的存储位置留下指针,来最小化数据量。这个指针通过给定大小的数据模式进行哈希创建。

也许在于你已经在备份系统上实施了重复数据删除备份和归档多年,问题在于:是否需要在主存储上运用重复数据删除与压缩技术?

并非所有的重复数据删除技术都一样。IT专业人士在将其添加到主存储环境之前,应该权衡其各自的特点。

何时使用重复数据删除

重复数据删除首先开始于创建数据。接着是所有其他业务——备份、复制、归档以及任何网络传输——都可以受益于规模缩小后的数据,位于Hopkinton, Mass的大容量存储咨询服务公司Taneja Group创始人Arun Taneja说。

“几年前,我写道,自己知道为什么重复数据删除技术通常被应用于备份设备上。但是,如果没有限制,重复数据删除应该在数据被创建时进行,而且数据在整个生命周期内,应该以某种脱水格式存储,” Taneja说。唯一的例外应该是当用户或应用程序需要访问这些数据时。

但把重复数据删除应用在主数据这一场景很难被用户接收,因为这样做是在篡改主数据集,Storage Switzerland LLC存储顾问公司的首席分析师George Crump说。“做好备份,就算没有重复数据删除技术,也不会因为搞砸生产环境的数据而出大乱子,”他说,“但是如果动到主存储,问题就很大了,而且需要了解这项技术会如何影响性能、可靠性与数据完整性。”

目前只有少数主存储阵列提供重复数据删除作为产品的附加功能。只有不到5%的磁盘阵列真正支持在线重复数据删除与压缩,Permabit公司的CEO Tom Cook说。该公司是一家数据效率技术供应商。不过,这个数字在未来的18个月内将可能增长到25%,并且在36个月后达到75%,Cook说。

重复数据删除的比例

通过数据去重节约的空间十分可观,这取决于数据类型以及所使用的数据去重引擎的组块大小。以文本文件与虚拟桌面架构环境为例,受益于高删除率,压缩比可达到40:1。而视频可以压缩的,但没法去重。存储厂商认为6:1是重复数据删除率的最佳平均值。加上相同的块压缩,数据中心可以通过这些技术轻松实现10:1的存储空间节约。
这些技术能够节约空间,十分具有,但重复数据删除属于计算密集型技术。在相对不重要的二级存储中,一般不会出现问题,但可能给主存储环境出现短暂拥塞现象,Gartner的副总监兼著名存储技术与战略分析师Dave Russell说。

“真正令人当心的是,应用程序可能在写入存储甚至在读取时被卡住,” Russell说。“如果主存储阵列的性能是一个瓶颈,那么就必须采取后处理方式”,在数据已经被写入存储后才开始压缩。

重复数据删除不仅可以在实时删除重复数据,还可以让供应商通过算法最大化潜在的数据压缩率。以Quantum的DXi系列备份设备为例,使用可改变块大小的重复数据删除算法,该算法是固定块大小方法效率的三倍以上,Quantum的数据中心高级产品营销经理Casey Burns说。

第二部分请看《使用重复数据删除技术节约存储空间》。

作者

Alex Barrett
Alex Barrett

TechTarget特约作者

翻译

陈德文
陈德文

TechTarget中国特约编辑

相关推荐

  • 软件定义和融合时代:存储已经过时了吗

    一些IT专家称存储业务正在垂死挣扎中,不过这并不完全正确。每天都有大量的数据产生,从数据保护和灾难恢复到全球高性能访问,再到永远在线可用性的每一个存储问题,都需要更加慎重的、以存储为中心的专业知识……

  • 从数据中心数据存储采购所引发的思考

    伴随着戴尔完成对EMC的收购计划,长久以来停滞的存储技术正迅速发展着。从开源存储到专有存储,从iSCSI区块存储到Ceph,以及从固态存储到基于云端的存储服务,可选内容众多。

  • 数据存储公司为本地阵列注入智能

    数据感知存储使得新的洞见和管理成为可能,但也带来了如何满足IT组织需求以及如何与现有系统及云替代相适应等挑战。

  • 掌握Windows Server 2012 R2重复数据删除技术

    重复数据删除技术是Windows Server 2012和Windows Server 2012 R2的自带功能。学习更多关于数据删除的技术来清除重复的内容,释放更多可利用的存储空间。