中国农行携手曙光公司构建大数据系统 推动业务不断创新

日期: 2013-05-28 来源:TechTarget中国

    随着网络数据量的迅速增长,如何从互联网时代庞大的“数据宝藏”中获得价值和洞察力成为企业普遍关心的问题。为了更好地对企业产生的“大数据”进行管理,使之转化为生产力,中国农业银行(以下简称中国农行)携手中科曙光,采用曙光XData大数据一体机系统,支撑中国农行历史数据查询和分析业务,让“大数据”成为推动中国农行业务持续不断创新的基础。

    数据爆炸式增长  如何利用成当务之急

    作为一家面向“三农”、城乡联动、融入国际、综合经营的大型商业银行,中国农行在很早之前就部署了各种IT应用系统,给业务发展提供强大的信息化手段。而随着农行业务的快速发展和公司治理要求的不断提高,各类应用系统产生的数据量急速增加。据初步统计,目前农行各应用系统每年产生的非结构化数据已经超过1PB(1024TB),结构化数据也以百TB计,加之已归档的历史数据,总数据量已经需要以PB为单位计算。

    在中国农行的数据出现爆炸式增长的背景下,如何处理、保存这些海量的数据,并抽丝剥茧发现数据所蕴藏的价值,就成为首要面对的问题。由于关系型数据库架构在面临大数据处理时先天性不足的原因,中国农行亟待新的方法和技术来解决这些问题,以满足新的需求,推动业务持续快速地发展。

    中国农行相关负责人表示:“在近些年,中国农行启用了手机银行、电子支付、云计算等诸多数据密集型业务,这让农行数据资源的‘储量’越来越丰富,数据也越来越成为我们最有价值的资产之一。但同时,这些数据极为巨大,数据类型异常复杂,特别是非结构化和半结构数据量远远超过结构化数据,采用传统的方式很难从中发现蕴含的商业价值。因此,农业银行迫切需要一套挖掘效果好的大数据解决方案,为金融业务发展提供数据支撑。”

    中国农行应用曙光XData大数据一体机系统 推进业务持续创新

    2012年7月起,在信息技术管理部的推动下,中国农行软件开发中心技术引入业内广受关注的“大数据”技术,并对相关的技术及其在银行内应用可行性进行了充分的研究,明确了大数据处理技术在农业银行的应用场景。基于对大数据处理技术的研究与应用工作,以及对文件管理、历史数据查询以及数据分析类应用进行原型研究的基础上,农行正式完成在大数据处理和应用方面的技术初步落地。

中国农行携手曙光公司构建大数据系统 推动业务不断创新

    整套解决方案以曙光XData大数据一体机系统作为支撑,XData 大数据一体机由 1个管理节点, 2个namenode,42个datanode组成,存储接近600TB容量数据,随着业务数据量的增加,系统通过简单扩展硬件的方式保证符合业务对容量和性能的要求。

    曙光存储产品总监惠润海表示:“由于农行业务复杂,数据格式多变,非结构数据如票据影像大量存在,对这些数据进行统一存储分析管理成为一项重要的需求。曙光大数据解决方案立足于基础平台建设,通过SQL连接器和常用BI报表工具进行集成。此外,系统还可以迅速完成结构化数据急速导入,完全融入数据生命周期管理。”在解决方案部署之后,实现了以下部署效果:

  • 高可靠性:系统全年7×24小时无间断服务。
  • 高可用性:服务器故障情况下,系统仍能稳定工作,并保证数据完整性和可用性。
  • 灵活扩展:通过增加存储设备,容量可以平滑的扩展,性能可以同比提高。当性能(并发访问、IO带宽)不足时,简单通过扩展硬件即可同比地扩展系统的总体性能。
  • 高性能:提供每秒数十万的记录导入速度,百亿级规模记录随机点查询秒级返回。
  • 低成本:在大规模部署时,该系统有总体价格优势。
  • 易开发:系统对外呈现单一入口,并提供类JDBC和SQL访问接口,便于业务的开发及移植。
  • 易管理:提供图形化管理界面,方便用户对系统进行管理和监控。

    在应用了曙光XData大数据一体机系统之后,中国农行满足了系统对于并发用户数和性能的要求,能够支撑农业银行历史数据查询和分析业务,为下一步的业务拓展奠定了基础。中国农行相关负责人指出:“在曙光的帮助下,我们建立了相对完善的大数据系统,并解决了部署、业务移植开发等技术难题,跨过了应用门槛。为公司盘活数据资产、抢占新技术的制高点提供了支撑,推动了业务创新和持续不断的发展。”

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐