全球领先的信息与通信解决方案供应商华为今日宣布,中央研究院香农实验室在2013Hadoop中国技术峰会(China Hadoop Summit 2013)上提出业界首创的HIMM (Hybrid Iterative Matrix Multiplication) 模型。使用该模型表达的图数据挖掘算法能够获得10倍的性能提升,这对于大数据处理的实时性具有重要意义。
Hadoop中国技术峰会于2013年11月23日在北京圆满落幕。作为本年度大中华地区规模最大的Hadoop技术峰会,本届大会的主题是“掘金大数据”。 华为香农实验室的首席研究员颜友亮发表了“HiGraph:一种面向图计算的领域编程语言”的演讲,介绍了华为香农实验室在图计算以及Spark(Berkeley AMP Lab开发的一种基于内存计算的并行计算框架)上所取得的研究成果。
“大数据时代的一个重要方面就是图的规模越来越大。”颜友亮说,“Facebook人际关系网,包含顶点数目超过10亿。其他网络的规模也在数千万顶点左右。这使得这些图上的大量应用,例如好友推荐、寻找最短路径等无法准实时地得到结果。”
华为香农实验室提出业界首创的HIMM模型,与传统图计算模型相比,具有操作更简单,接口更实用,编程更轻松等优点。算法开发者使用了HIMM模型,不仅可以用矩阵的方式来表达图结构,而且还可以用自定义的矩阵运算来表达图上的各种操作,并通过提供一整套图计算算子来实现高效的并行图算法。在底层框架上,基于HIMM的图计算框架HiGraph会根据不同的硬件环境实现有针对性的一些优化措施,使得HiGraph的性能相比于业界获得显著提升。通过测试Pagerank和单源最短路径的算法,结果显示:在集群环境模式下,HiGraph借助Spark在迭代计算上的优势,相比其他的解决方案如Bagel和Giraph,HiGraph的性能提高3倍到20倍;在单机环境模式下,HiGraph充分利用了多核的并行处理能力,实现最大化的并行加速设计,使得在业界开源方案的性能上获得了至少10倍的提升。
“我们的HiGraph性能比业界高出了一个数量级,能够在秒级完成PageRank、单源最短路径等算法,完全能够胜任大数据处理实时性的要求。”颜友亮说道。
HIMM模型与HiGraph框架对于完善香农实验室在高性能计算研究的布局具有重要意义。华为香农实验室也将继续在图计算领域和Spark框架上发力,并进一步完善HiGraph,为华为的大数据研究提供了坚实基础,助力华为更好地进驻大数据领域。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
相关推荐
-
探索Hadoop发行版以管理大数据
Hadoop是一种开源技术,它也是数据管理平台,现在它通常与大数据分布相关联。它的创建者在2006年设计了原始 […]
-
华为全联接大会2018: 华为试图解除障碍以实现有效人工智能
华为轮值主席徐直军表示,在企业和消费领域有效利用人工智能(AI)将需要克服诸多障碍,例如计算能力、自动化和技能 […]
-
数据经理应该研究GPU深度学习
与AI相关的深度学习和机器学习技术已经变成大数据圈常见的讨论话题。这一趋势对于数据管理者们来说是值得关注的,原 […]
-
收获满满的华为云私有云解决方案,2018年又将如何崭新启程?
华为志在成为企业云转型的领导者、倡导者和推动者,在企业转型过程中,为企业提供企业级的规模能力、规模交付能力和业务咨询能力,从而支持企业用户的敏捷创新。