近日,曙光副总裁邵宗有在接受媒体采访时表示:“高性能计算完美契合了大数据在运算能力、高性能存储等方面需求,而大数据则给高性能计算提供了新型商业市场,有助于推动高性能计算拓展新的市场蓝海,两者在产业生态链上的紧密衔接可以很好的推进信息资源组织模式的深入变革与发展。”
高性能计算化解大数据应用挑战
虽然大数据技术与大数据应用得到了快速的扩展,但是仍旧存在着很多问题,其中比较突出的是“4V”挑战(容量、类型、速度、价值)。目前,大数据的容量可达到PB级,这些大容量数据的存储、处理会对用户的计算系统产生极大负担,建立在普通计算能力基础上的系统往往无法满足大数据的需求,更无法为用户获取价值以实现领先于他人的优势。
邵宗有表示:“在应对大数据挑战的过程中,高性能计算可以起到重要作用。从数据的存储与处理的角度来说,采用高性能计算系统不仅可以大幅降低大容量存储的成本,而且其处理数据、传输数据、恢复数据的速度会远远超过普通的计算系统。在过去完整恢复一块硬盘的速度可能需要48个小时,
但融合了曙光高性能计算技术的存储产品,能将时间控制在十几分钟,显著降低了大规模集群存储系统中用户运维的压力,提高了系统效率。”
此外,高性能计算还可以为大数据应用中的数据同化问题提供解决思路。在大数据采集系统中,可能各个采集设备采集的数据在格式与类型上都是不一样的,将这些不同的数据进行统一会消耗大量的计算资源。而高性能计算在数据同化方面已经取得重要进展,其同化的速度和精确性已经能保持在一个很高的水平,其发展成果“嫁接”到大数据中会产生巨大的价值,并推动实现数据的组织和管理,基础架构,决策支持和自动化界面和分析。
高性能计算和大数据将深入融合 推动实际应用
对于任何一种技术概念,应用都是其体现最终价值的落脚点。目前,大数据正在处于从概念到应用的过渡时期,大数据应用在产业成熟度、用户接受度、系统易用性等方面都存在着很多障碍。大数据应用怎样部署?大数据存储的数据怎样产生价值?如何将大数据分析后产生的结论应用到企业运营的决策之中?由于缺乏大规模应用的成熟案例与产业集群,金融用户等行业用户迟迟无法下定部署大数据的决心。
邵宗有指出:“相对于大数据来说,高性能计算在很多行业用户中都得到了较早的部署与应用,其部署可以在软硬件一体化平台、数据存储等方面为大数据应用打下良好的基础。特别是高性能计算和大数据在内在逻辑上是相通的,在平台扩展、应用落地等方面具有互补优势,这就满足了高性能计算和大数据进行融合的充分性条件。”
为了推进高性能计算与大数据的融合发展,改善大数据应用环境,目前曙光已经发布“平台一体,智汇应用”的行业大数据战略,并通过软硬件结合的一体化平台作为支撑。其中,硬件XData大数据一体机采用成熟的高性能计算机和高性能存储系统作为基础,在软件上则整合了高性能操作系统与Hadoop软件。解决方案全面集合曙光在高性能计算、高性能存储等方面的资源优势,可为行业企业构建有竞争力的大数据整体解决方案和服务,达到平台能力及应用的灵活扩充和增长,提供真正的统一数据分析能力。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
相关推荐
-
Nvidia收购Mellanox以应对日益激烈的人工智能、数据竞争
Nvidia公司正计划以69亿美元收购以色列互连制造商Mellanox公司,以应对竞争日益激烈的数据密集型计算 […]
-
数据中心GPU市场将增长,用于AI工作流程
企业级数据中心GPU可通过硬件升级帮助企业利用并行处理功能,这有助于企业加速工作流程和图形密集型应用程序,同时 […]
-
聚焦超算发展 Intel助力人才培育
英特尔近20年来一直关注并积极推动产学研合作,致力于将行业最先进技术引入高校,推动高校计算机课程更新和改革。
-
首摘戈登·贝尔奖 我国超算软实力显著提升
11月17日,在美国盐湖城举行的2016年全球超级计算大会上,中国代表队首次获得国际高性能计算应用领域最高奖戈登贝尔奖(ACM Gordon Bell Prize),实现了我国高性能计算应用在此奖项上零的突破,成为我国高性能计算应用发展的一个新的里程碑。