Facebook服务器全面剖析

日期: 2013-07-07 来源:TechTarget中国

硬件开源 或打造另一IT生态链

  The Open Compute Project,是Facebook主导的面向数据中心和服务器的著名开源项目。数据中心包括整体电力供应,整体温度控制(主要是指机房冷却控制),备用电池以及三联机柜。而服务器则由机箱、主板(其中又分AMD主板和Intel主板)和电力供应组成。该项目旨在为面向运行互联网服务的高效节能计算机提供技术参数和设计信息,并将其进行共享,从而通过共享设计参数来促进专业服务器的有效性和需求。

  位于门洛帕克(Menlo Park)市的Facebook总部,坐落在曾为Sun微系统公司总部“Sun Quentin”。目前该场所主要是Facebook电子实验室团队办公所在地。每天这些团队的雇员都在研究未来数据中心硬件应该如何构建。这些工程师总是会对自己定义的服务器不断地进行测试,以优化、提升其性能。

  当然了,Facebook的这个研究团队的精力并不仅仅放在数据中心,还包括比较知名的OCP(Open  Compute Project)以及将开源设计带入到数据中心服务器和存储硬件、基础设施和跨接口管理的努力。

  Facebook、亚马逊和谷歌对服务器要求都十分苛刻,这些科技巨头大部分情况下都会构建基于自己需求的服务器产品。结合自己的开源解决方案,软硬件构造能够帮助节省大量成本——无论是硬件开支还是系统维护抑或是能耗支出等。

硬件开源 或打造另一IT生态链
Facebook电子测试实验室布满DIY部件的机柜(来源:arstechnica,下同)

  比如32块Raspberry Pi主板去组装一部高性能计算机抑或是Arduino的开源微控制器,已经吸引了一些硬件黑客的兴趣。OCP致力于DIY变得更为简单、高效和灵活。不过,Facebook和开放计算在数据中心硬件领域的动作并不会扼杀硬件产业,但却会对产业带来启示。

  开源和Facebook定制的主板、子系统都为“hyper scale”包括Facebook、Rackspace以及其他云服务商等超大规模数据中心而设计。不过这些设计都有DIY环境的影子或者面向大中企业出售的“vanity  free”系统。

  那么开源硬件有什么意义呢?硬件开源可以让你自由选择硬件厂商,并按照自己的意愿进行整合,从而在硬件层面得到优化并降低成本。这对于HP、IBM和思科等企业来说并不是利好消息。“Vanity  free”开源设计系统将有助于驱动新一轮技术创新,同时冲击着由这些IT大佬构建的现有格局。

开源服务器

  Facebook数据中心设计以“解耦(Disaggregation)”为哲学——打破传统的服务器定义——由网络硬件连接起来的基于某种应用的铁盒子。这种形态曾经是以前Sun鼎盛时期“The network is the computer”的真实写照。而现在,计算机既是概念上的也是实体上的网络。

  Facebook硬件设计理念来自亲力亲为。Facebook的所有工程师都在以技工的身份将时间花费在 Facebook数据中心上。比如,每个人都在数据中心内徒步检测和管理系统,这样也更加深了他们对数 据中心不同设施的看法。

Facebook设计的各个Sled模块系统
Facebook设计的各个Sled模块系统

  由Facebook和Open Compute Project提出的开源数据中心,是一种基于未来的后现代主义。将各个组件解耦,由复杂的组件设计改为简单高效的设计。在机柜中充满各个Sleds模块系统。有一种观点认为,这将是未来十多年服务器发展的一个方向。

  Facebook数据中心就采用了这种设计方案,整个机柜中插满了Sleds模块——通用计算Sleds模块(CPU、内存和特定PCI插槽形成的系统主板)、存储Sleds模块(高密度磁盘阵列)和内存Sleds模块(大容量RAM和专为批量处理内存计算数据库的低压处理器系统)。

代号为“Windmill”的基于Facebook计算Sled模块
代号为“Windmill”的基于Facebook计算Sled模块

  这些解耦模块有一个共同特点,那就是模块化密闭系统并支持插拔、维修、替换(免工具)。如果需要对其中某个Sled进行修理,只需要手工把它们抽出来并拔掉线缆即可。

  “Windmill”计算Sled模块基于第二代开源主板设计,x86两路设计搭配16个内存插槽以及数个PCI扩展插槽。Facebook使用PCI 万兆以太网插槽而不是直接使用以太网,由于量大,因此可以从多个供应商获得。

基于 Windmill 主板Facebook自制数据库服务器
基于 Windmill 主板Facebook自制数据库服务器

  观察仔细的朋友不难发现,这块计算模板中并没有提供电源。整个机柜的电源都是同样供应,在机柜背板有一个12V电源调节板。这样有助于减少电源设计的复杂性、降低电源转换损失。很多数据中心的电源需要经过三四次转换:480V到208V再到UPS然后返回UPS并进入到PDU,最终电源输送给服务器。

开源存储

  Facebook应用程序对磁盘存储的需求,主要体现在那些相对来说低输出和输入要求的应用,比如Photo store主要由Open Vault磁盘阵列来支撑,也就是Facebook代号为“Knox”的应用(Open Vault阵列代号)。

  Open Vault是开源计算中很有特色的一个项目,它相当于存储平台的Open Compute。Open Vault基于JBOD,它以非常密集的方式连接了很多硬盘。

“Open Vault”存储Sled模板(展示其中一个存储抽屉柜)
“Open Vault”存储Sled模板(展示其中一个存储抽屉柜)

  Open Vault阵列有2个1U磁盘抽屉,每个抽屉容纳15个3.5英寸SAS驱动器,2个SAS扩展器板。4个SAS扩展器板连到服务器,让Open Vault中所有30个驱动器看起来像是直接连到服务器的。Open Vault的设计让任何磁盘或者任何一个SAS扩展器都可以更改,而无需让JBOD离线。

  现在大多数的存储硬件厂商都是前端摆放的,因此它在服务器机架的前端占用了很多的空间,这限制了机架内可部署的存储驱动器。Open Vault采用了不同的方法。Facebook将堆叠的驱动器深入到服务器内部,从而提高了硬盘驱动器的密度。有了Open Vault,Facebook能够一次部署15个驱动器。这样可以扩大增量至50个驱动器或更多的驱动器;这个驱动器可以是传统硬盘或者是SSD。

  但这会带来散热问题,高密度的磁盘连接会积聚大量的热源。对此,Facebook提高了包括软件和硬件两方面来提供适当水平的冷却。在硬件方面,通过系统和周围的驱动器来提供空气管理和工程师的指导。软件方面,它关于创建算法以节能的方式控制风扇。

开源网络

  对于Facebook构建的这种开源服务器来说,网络在解耦中的重要性显得不言而喻。Facebook的“Open Compute”项目本身就是打造一个开源的平台,对于由Ethernet所掌控的年220亿美元交换器市场来说,无疑也会对其网络市场带来冲击。

  交换器是硬件的一部分,它可以将网络不同部件连接起来,是企业网络设备的核心部分。Facebook的Open Compute项目采用“软件定义网络”的(SDN)技术来创造出新的交换器。“软件界定的网络”是创造网络的新途径,用户不需要从思科或者Juniper 购买功能花哨、但价格昂贵的硬件路由器和转换器,这些功能都将会置于软件中。企业用户能更简单的使用价格低廉的网络硬件。开源网络交换机能够将一栋大楼或者整个园区的网络连接起来,并且在网络安全管理方面能提供更灵活高效的功能。

“Open Vault”存储Sled模板(展示其中一个存储抽屉柜)
“Open Vault”存储Sled模板(展示其中一个存储抽屉柜)

  Facebook目前致力于构建一个柜顶式交换机,用于帮助Facebook等公司构建大型或者超大型数据中心。通过OCP设计并由Facebook构建的硬件,针对的是数据中心的应用,但如果用户想通过这些设计方案应用在某个办公环境、移动数据中心平台或者其它对计算、网络、存储都有需求的IT环境中,都能获得良好的效果。因为能源效益、低成本、开放接口对于这些应用来说都十分重要。用户虽然不能购买本文中所提到的“Windmill”主板,但不久的将来能从Facebook的OCP设计方案中选择最适合自己的设计方案。

工作人员安装Sled模块
工作人员安装Sled模块

  Facebook掀起了一股硬件“开源开放”的风潮。将传统的标准化、工业化服务器、存储和网络设备转变成以应用需求(专业术语应为“工作负载”)为导向的开源方案。Facebook在两年前创建了OCP,目的是想把其作为一种促进更高效的数据中心技术发展的方式。当时想法是,用户和数据中心技术的开创者可以根据自己的喜好合作开发硬件,然后将设计开源,所以任何制造商都可以使用它们来打造设备。

  由于Facebook所处的互联网行业在工作负载中具有特殊性(行业)和普遍性(高并发访问、大容量数据存储和处理、7*24高可靠性和高性能支撑)的特点,因此这种OCP方案本身也具有实践意义,同时也能灵活构建自己的IT基础设施平台并将投资最小化、收益最大化。OCP,目前已有50多个企业参与,他们已经开始着手设计组件,如机架、存储盒和主板等。

  与其说Facebook主导了一个开源开放产业联盟,不如说打造了一个新的生态系统。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐