华为首创图计算HIMM模型 为未来图数据的高效处理提供新方向

日期: 2013-12-15 来源:TechTarget中国

全球领先的信息与通信解决方案供应商华为今日宣布,中央研究院香农实验室在2013Hadoop中国技术峰会(China Hadoop Summit 2013)上提出业界首创的HIMM (Hybrid Iterative Matrix Multiplication) 模型。使用该模型表达的图数据挖掘算法能够获得10倍的性能提升,这对于大数据处理的实时性具有重要意义。

Hadoop中国技术峰会于2013年11月23日在北京圆满落幕。作为本年度大中华地区规模最大的Hadoop技术峰会,本届大会的主题是“掘金大数据”。 华为香农实验室的首席研究员颜友亮发表了“HiGraph:一种面向图计算的领域编程语言”的演讲,介绍了华为香农实验室在图计算以及Spark(Berkeley AMP Lab开发的一种基于内存计算的并行计算框架)上所取得的研究成果。

“大数据时代的一个重要方面就是图的规模越来越大。”颜友亮说,“Facebook人际关系网,包含顶点数目超过10亿。其他网络的规模也在数千万顶点左右。这使得这些图上的大量应用,例如好友推荐、寻找最短路径等无法准实时地得到结果。”

华为香农实验室提出业界首创的HIMM模型,与传统图计算模型相比,具有操作更简单,接口更实用,编程更轻松等优点。算法开发者使用了HIMM模型,不仅可以用矩阵的方式来表达图结构,而且还可以用自定义的矩阵运算来表达图上的各种操作,并通过提供一整套图计算算子来实现高效的并行图算法。在底层框架上,基于HIMM的图计算框架HiGraph会根据不同的硬件环境实现有针对性的一些优化措施,使得HiGraph的性能相比于业界获得显著提升。通过测试Pagerank和单源最短路径的算法,结果显示:在集群环境模式下,HiGraph借助Spark在迭代计算上的优势,相比其他的解决方案如Bagel和Giraph,HiGraph的性能提高3倍到20倍;在单机环境模式下,HiGraph充分利用了多核的并行处理能力,实现最大化的并行加速设计,使得在业界开源方案的性能上获得了至少10倍的提升。

“我们的HiGraph性能比业界高出了一个数量级,能够在秒级完成PageRank、单源最短路径等算法,完全能够胜任大数据处理实时性的要求。”颜友亮说道。

HIMM模型与HiGraph框架对于完善香农实验室在高性能计算研究的布局具有重要意义。华为香农实验室也将继续在图计算领域和Spark框架上发力,并进一步完善HiGraph,为华为的大数据研究提供了坚实基础,助力华为更好地进驻大数据领域。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐