大数据与海量数据已经成为数据中心的主要业务，而重复数据删除与压缩是可以节约大量数据存储的技术。

只有备份还不够。重复数据删除与压缩即将成为主存储的必备功能。

重复数据删除是一种压缩技术，通过识别重复内容，进行去重，并在对应的存储位置留下指针，来最小化数据量。这个指针通过给定大小的数据模式进行哈希创建。

也许在于你已经在备份系统上实施了重复数据删除备份和归档多年，问题在于：是否需要在主存储上运用重复数据删除与压缩技术？

并非所有的重复数据删除技术都一样。IT专业人士在将其添加到主存储环境之前，应该权衡其各自的特点。

何时使用重复数据删除

重复数据删除首先开始于创建数据。接着是所有其他业务——备份、复制、归档以及任何网络传输——都可以受益于规模缩小后的数据，位于Hopkinton, Mass的大容量存储咨询服务公司Taneja Group创始人Arun Taneja说。

“几年前，我写道，自己知道为什么重复数据删除技术通常被应用于备份设备上。但是，如果没有限制，重复数据删除应该在数据被创建时进行，而且数据在整个生命周期内，应该以某种脱水格式存储，” Taneja说。唯一的例外应该是当用户或应用程序需要访问这些数据时。

但把重复数据删除应用在主数据这一场景很难被用户接收，因为这样做是在篡改主数据集，Storage Switzerland LLC存储顾问公司的首席分析师George Crump说。“做好备份，就算没有重复数据删除技术，也不会因为搞砸生产环境的数据而出大乱子，”他说，“但是如果动到主存储，问题就很大了，而且需要了解这项技术会如何影响性能、可靠性与数据完整性。”

目前只有少数主存储阵列提供重复数据删除作为产品的附加功能。只有不到5%的磁盘阵列真正支持在线重复数据删除与压缩，Permabit公司的CEO Tom Cook说。该公司是一家数据效率技术供应商。不过，这个数字在未来的18个月内将可能增长到25%，并且在36个月后达到75%，Cook说。

重复数据删除的比例

通过数据去重节约的空间十分可观，这取决于数据类型以及所使用的数据去重引擎的组块大小。以文本文件与虚拟桌面架构环境为例，受益于高删除率，压缩比可达到40:1。而视频可以压缩的，但没法去重。存储厂商认为6:1是重复数据删除率的最佳平均值。加上相同的块压缩，数据中心可以通过这些技术轻松实现10:1的存储空间节约。
这些技术能够节约空间，十分具有，但重复数据删除属于计算密集型技术。在相对不重要的二级存储中，一般不会出现问题，但可能给主存储环境出现短暂拥塞现象，Gartner的副总监兼著名存储技术与战略分析师Dave Russell说。

“真正令人当心的是，应用程序可能在写入存储甚至在读取时被卡住，” Russell说。“如果主存储阵列的性能是一个瓶颈，那么就必须采取后处理方式”，在数据已经被写入存储后才开始压缩。

重复数据删除不仅可以在实时删除重复数据，还可以让供应商通过算法最大化潜在的数据压缩率。以Quantum的DXi系列备份设备为例，使用可改变块大小的重复数据删除算法，该算法是固定块大小方法效率的三倍以上，Quantum的数据中心高级产品营销经理Casey Burns说。

第二部分请看《使用重复数据删除技术节约存储空间》。