模糊的边界:内存和存储以全新方式融合

日期: 2017-04-11 作者:JIM O’REILLY翻译:朱文浩 来源:TechTarget中国

软件定义的存储刚刚开始形成,然而系统演进的步伐已经使得未来技术的创新越来越受到关注。 我们并非要在文中探讨磁盘存储池,也不是要讨论固态驱动器。存储的未来在于其与内存的融合。随着非线性双列直插式存储器模块(nonvolatile dual in-line memory modules, NVDIMM)的引入,系统内存在变得越来越复杂的同时,也将内存的速度与存储的持久质量结合到了一起。

这些产品已经问世。镁光(Micron)推出的首款全闪存的NVDIMM已经在产,并且几家(硬件)供应商都在服务器产品中提供该款硬件。当然,其优势在于数据在内存总线上移动时,比在外围组件互连Express(PCIe)上……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

软件定义的存储刚刚开始形成,然而系统演进的步伐已经使得未来技术的创新越来越受到关注。

我们并非要在文中探讨磁盘存储池,也不是要讨论固态驱动器。存储的未来在于其与内存的融合。随着非线性双列直插式存储器模块(nonvolatile dual in-line memory modules, NVDIMM)的引入,系统内存在变得越来越复杂的同时,也将内存的速度与存储的持久质量结合到了一起。

这些产品已经问世。镁光(Micron)推出的首款全闪存的NVDIMM已经在产,并且几家(硬件)供应商都在服务器产品中提供该款硬件。当然,其优势在于数据在内存总线上移动时,比在外围组件互连Express(PCIe)上移动的速度要快得多,尽管NVDIMM闪存的速度仍然还要比动态RAM(DRAM)慢一些。

有些情况下,例如在军事系统或金融服务方面,对内存持久性需求更高。Viking Technology公司创建的NVDIMM的一种版本,其中包含了大量与闪存匹配的DRAM空间。当系统接通电源时,用户可以选择将数据从闪存加载到相应的DRAM之中。如果电源关闭或机器停止,DRAM的数据将会被备份到闪存之上。

Viking办法的优点是系统可以使用CPU寄存器-存储器命令将数据写入DRAM。这允许单字节的写入操作,而不是传统存储操作中使用的4KB文件形式的I/O区块和全闪存型NVDIMM。这种字节模式I/O比区块访问闪存快了数千倍。支持此功能的软件非常复杂,不仅涉及操作系统更改以处理异常,还涉及编译器扩展。由于这种类型的I/O不使用标准块方法,所以应用程序需要修改。

随着软件变化的出现,我们可以期待看到混合方法在现实中的应用。最有可能的是,数据库系统将成为第一批实例,其中所有的更改都由数据库供应商实现,为最终用户提供一个透明的平台。

闪存的替代品,如英特尔和镁光3D XPoint产品,惠普企业和SanDisk的Memristor产品,以及索尼和Viking科技的ReRAM将提高持久性和非持久性内存区段之间的速度比。即使如此,它们的速度仍然比现今的DRAM慢得多。

接受这些技术的关键是应用程序需要将其视为DRAM类型的可写寻址空间或块I/O驱动器。做不到这一点,额外的速度是在应用软件开销中浪费掉的。

事实上,这些都是需要多家公司共同努力,以克服将这些尖端技术推向市场所面临的挑战和复杂性,因此不要指望这些产品2017年底或2018年初就可以使用。

固态驱动器(SSD)的速度越来越快且更紧凑,拥有千万级IOPS指标的驱动器已经出货,100 TB的容量值得期待。显然,我们面临着存储选择的爆炸式增长,这将大大提升存储性能。当然这也会造成混淆。

NVDIMM和SSD互为补充。NVDIMM将拥有TB级的闪存,一旦3D NAND芯片于2017年晚些时候整合,并使用操作系统驱动程序使闪存空间看起来更像是驱动器。然而,即将问世的最大的NVDIMM将可能超过5TB,仅比最小的SSD容量大一点。

重新定义内存

软件定义的内存(SDM)即将问世。如果内存是持久的,为什么不用它来补充其他永久性存储?SDM的理论是将所有内存和存储当作一种服务来处理,并依靠软件工具在物理设备之间移动数据。例如,某一内存对象可能在DRAM中创建,但很少访问的部分内存对象可能会将内存堆栈向下移动到永久性的双列直插式内存模块(DIMM),然后再移出至SSD。

SDM还处于起步阶段,所开发的软件多与英特尔或Diablo Technologies等供应商的硬件相关。这一情况可能会发生变化,因为除了驱动程序之外的大多数代码都应该能够在硬件混合环境中运行。如果我们应用数据服务,比如压缩,这显然是复杂性方面的一大进步。这种压缩不仅增加了持久型NVDIMM的有效空间多达五倍,而且由于同样的因素将有效缩短传输到存储器的时间。数据服务——例如复制或擦除编码、加密及索引,甚至还包括存储在NVDIMM上的数据。

将软件定义的存储模型扩展到所有内存结构可能会刺激一些有趣的架构提升。混合内存立方体(Hybrid Memory Cube,HMC)是由八家供应商联盟推动的一项概念,旨在用具有许多并行通道的低功耗串行总线系统将传统的并行总线替换到DIMM。这些通道就像当今服务器中的单个PCIe链路。

HMC处理器将拥有额外的四级缓存(可能高达32 GB),由非常快的DRAM组成,这将大大提升性能。它还将具有来自CPU的大量非模块DRAM空间,其将包括非易失性内存。有了这个,有效的系统内存空间甚至在压缩之前就变得巨大。这一概念将在2017年下半年正在变为现实。

在2018年可能亮相的另一项创新是将内存和SSD存储池在集群中的进行配对的技术。这允许数据从持久系统内存直接移动到SSD或其他群集节点,从而在很大程度上降低内部总线负载。这一过程与在SDS中同样,可以通过在虚拟机或容器中运行的数据服务来控制。

SDM的关键在于供应商正在开发的数据服务工具。这些工具会因非易失性DIMM的类型而存在差异。

NVDIMM-N是混合型非易失性存储器,可以用作具有非常快读写速度的DRAM。使用CPU寄存器-存储器指令执行数据传输会给软件生态系统带来很大的变化。现今的操作系统不能识别一段内存是否会持续存在。然而,全堆栈的供应商们正在开发操作系统更新、新的驱动程序和兼容的应用程序。

同时,像全闪存的NVDIMM一样,供应商驱动程序用于使用4KB块I/O将DRAM呈现为超快速存储驱动器。开箱即用的DIMM容量受限于同等数量的DRAM和备用闪存存储器,因此需要添加微型分层驱动程序(来自如Enmotus或Plexistor等公司),以将闪存存储器的潜力充分发挥。

全闪存选项的NVDIMM-F,使用区块I/O访问机制和供应商驱动程序将内存作为驱动器呈现给操作系统。不需要更改应用程序,尽管产品的高速度指向非易失性存储器快照(NVMe)类型的方法;使用循环队列而不是用于驱动程序设计的SCSI I/O堆栈将大大降低开销和设想的速度运行。

如3D XPoint这样的新兴技术,大大改变了行业准入的门槛。这些被设计为NOR器件-与标准NAND方案相反,具有门控逻辑,用于选择用于读取和写入的活动单元,允许固定的字节可寻址性。可能的是,他们将从开始就使用驱动程序来处理块I/O,并作为驱动器呈现。与NVDIMM-N一样,驱动程序和操作系统功能的快速演变将通过CPU命令进行直接字节访问。

即使它们比NAND闪存要快得多,但它们并没有达到DRAM级别的速度,这就造成了缓存的困境。答案可能涉及HMC模块体系结构,这将为DIMM和CPU之间提供速度很快的大量DRAM空间。

与NVDIMM-N同样,驱动程序和操作系统特性的快速发展,将通过CPU命令直接访问字节数据。

SDM是一种新兴技术,硬件平台和SDM软件方法都在快速发展中。今年将会有一场狂热的变化,我们可以预见到到一些阻碍因素,但主流采用并不遥远。

相关推荐