不仅仅是处理器-英特尔的“互联网思维”

日期: 2014-03-06 来源:TechTarget中国

云计算、大数据、社交媒体、电子商务等等这些炙手可热的领先技术,在推动着广大行业的发展。与其他行业不同的是,作为前沿技术的“发明者”,互联网行业往往是技术革命的“先锋官”。在瞬息万变的商业环境中,“保持优良传统”已经不完全是赢得这场战役的不二法则了。正如“逆水行舟,不进则退”,唯有不断发展才能避免不被淹没在这场技术革命浪潮中。面对“成长的烦恼”、“转型的困难”,不仅需要互联网企业在战略层面的开拓创新,如何真正挖掘自身需求,并选择相应的产品技术做支撑,解决应用背后数据中心面临的新老问题,是许多互联网企业正在探索的方向。

科技创新的力量正在重塑行业格局,个性化、差异化的用户需求也使得互联网行业正在加速迈向移动化、融合化、平台化及不同应用模式的跨界融合。近年来,我国互联网行业持续保持着用户和市场规模双增长的快速发展态势,并渗透到经济社会运行的各个方面,发挥着不可或缺的重要作用。但在为整个社会带来了巨大的经济及社会效益的同时,互联网企业的快速扩张让他们对如何高效管理数据中心、应对瞬间并发性需求、以及如何利用视频图片等非结构化数据产生了新一轮思考,也为应用背后庞大的数据中心带来了多种挑战。

老问题升级 软件优化充分释放硬件潜能

每一个互联网公司都在面对内部系统在任务分配上出现的负载均衡问题。作为国内知名门户网站,新浪2004年开始就通过使用F5等专用设备解决负载均衡的问题。但是,随着新浪微博等新兴应用的推出,面对庞大的数据流量及集中性的访问,网络堵塞和服务超载、Web应用对七层交换依赖度的不断增加,负载均衡问题再次升级。

F5等专业负载均衡设备的性能瓶颈无法突破,其供货时间的局限性无法满足新浪对快速部署的需求,而像新浪这样的门户网站拥有强大软件编程能力,因此新浪开始自主研发使用更加切合公司业务的Haproxy负载均衡软件,即在Linux操作系统下,通过Haproxy实现对七层负载均衡的优化。

由于负载均衡软件的性能与服务器CPU、网卡等硬件直接相关,而使用英特尔架构处理器及万兆网卡设备能够使得Haproxy性能再提高20%-30%,因此,在后期基于Haproxy应用的CPU性能优化过程中,新浪也部署了英特尔提供的最新硬件产品。通过对最新至强E5处理器上进行了调优,并利用英特尔万兆网卡中Flow Director等特性,目前,新浪服务器性能已经实现线性扩展,单机处理能力获得显著提升,网卡性能也能够被全部利用上。同时,集群内部一台服务器已经能够同时满足70多万个链接请求,相比于之前硬件负载均衡设备的解决方案,响应能力提高了不止一倍。基于英特尔平台的Haproxy解决方案帮助新浪充分释放软硬件潜能,从而使新浪能够更好的满足核心业务需求,完美应对新兴业务的高并发挑战。

新挑战来袭 混合架构完善大数据分析

随着移动化、大屏化和多元化的发展,通过视频网站在线浏览、分享新闻、电影、电视剧等已成为每个人的生活中不可或缺的一部分。但是,如何能够结合时下热门的大数据分析,使用户不用进行复杂的搜索就能观看自己喜欢的视频,根据海量视频非结构化数据及用户历史数据的分析提升个性化视频推荐体验,是各大视频网站面临的新挑战。

作为中国网络视频行业领军企业,优酷土豆很早就看到了大数据技术对公司业务发展的价值,并通过分析用户的行为爱好、对视频的题材偏好以及视频播放历史,增加了“为我推荐”模块。为了更好的实现个性化视频推荐,优酷土豆自2009年就开始使用Hadoop大数据平台来进行数据的分析及挖掘。但是随着数据量的急剧增加以及业务的迅猛发展,每天优酷处理的数据量已突破200TB,使用MapReduce在BI、模拟广告投放调优筛选计算、及迭代运算等核心业务数据处理速度不尽人意,运算资源也被大量耗费。

为此,为满足视频推荐、广告投放效果预估等情景对实时性和准确性的定制化需求,优酷土豆在英特尔公司的帮助下率先尝试了Spark/Shark内存计算框架来解决多次迭代以及复杂的算法。
通过混搭的方式,Hadoop与Spark/Shark结合的架构不仅使计算资源能够更加协调的被利用,数据计算速度也提升很多,而重复视频推荐、刷浏览量冲击榜单的情况也有所减少。

在该解决方案的设计部署过程中,以计算实力著称的英特尔,也不再是仅仅提供硬件支持。而是融合了Hadoop与Spark/Shark两方面的特点,根据优酷土豆的特定需求更多的在项目中在软件优化、方案设计、Scala语言培训等方面给优酷土豆提供支持,帮助优酷土豆完善了大数据的分析,凸显了其过硬的软实力及对整个行业的深入洞察。

领航行业发展 开源虚拟化平台为中小企业再创新机

提高资源利用率、降低能耗、创建绿色的数据中心是互联网行业永恒的话题。为解决传统数据中心的IT资源利用率问题,CIO们往往不断通过更换更加高效的设备来实现。但目前,随着互联网用户需求的日益丰富,互联网应用与日常业务也变得更加多元化。互联网企业的IT基础架构的不断扩张,不仅带来了服务器数量及IT支出的增长,多厂家设备多地域设备也使管理日渐复杂。

通过虚拟化技术构建虚拟化云管理平台,则成为了搜狐内部提高资源利用率、提升基础设施灵活性的一大法宝。平台上线至今已面向搜狐内部业务使用两年,除具备完整的生命周期管理、实现资源池化后的快速部署等特性,该平台最大的亮点便是支持搜狐系统内部4000台Xen和1000台KVM的虚拟机,为平台带来了最大的适用性。除了开源的虚拟化软件,企业级虚拟化解决方案也能获得支持,这样可以很好的祛除不同Hypervisor在管理上的差异化,使工程师更加方便的进行管理。

在搜狐开源虚拟化项目中,适用性、管理性、监控能力等方面特性的实现,也得益于英特尔对搜狐在软件和硬件两个层面的支持。英特尔为搜狐提供了拥有超凡性能的x86架构处理器,虚拟化底层技术,还有一些针对虚拟化优化的硬件加速技术。在平台数据管理方面,硬件层也调用了一些内嵌于英特尔服务器芯片组的节点管理器(node manager)功率管理技术,以及VT-C、VT-D等虚拟化技术。

目前,搜狐是第一加创建能够整合不同类型资源的开源虚拟化平台的互联网企业。而这对于一些中小型互联网公司,以及一部分传统媒体而言,在技术和部署方面还存在着阻力。因此,为了帮助中小企业绕过技术层面的问题,轻松实现资源整合管理,搜狐将会把这一管理平台推到一些比较主流的开源社区中,并分享给更多行业伙伴,一方面从外部的更多需求来促进平台的进一步发展,另一方面丰富Openstack功能,并引领、促进整个行业虚拟化管理平台的进步与发展。

创新的合作模式:与互联网一起技术革命

今天,O2O等新兴趋势正在飞速的普及与发展,我国本土的互联网行业正在引领着创新技术的发展,无论百姓依赖的门户网站,还是刚刚起步的中小型互联网企业,技术的创新对他们来说命运攸关。与此同时,随着硬件标准化、定制化进程的深入,传统硬件厂商也需要从互联网用户实际应用出发,根据互联网用户个性化的应用负载需求提供相应的基础设施。互联网企业引领着技术的发展,因此英特尔与互联网用户的合作中发现,需要更好的理解客户不同的应用需求,而不仅仅是硬件产品的技术参数,硬件技术在一个项目的设计中也只是一部分。

因此,在互联网时代,英特尔也在经历着很重要的转型。结合互联网行业的特点,英特尔更多是去结合用户的个性需求及产品的特性,去前端与用户沟通项目的优化,迎合IT技术更新速度快、企业应用模式多样的互联网企业的需求,来提供计算、网络、存储等基础设施。同时,展示英特尔在软件及应用层面的支持与洞察,也是英特尔在互联网行业的一个创新战略。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐