轻松应对TB级海量信息

湖南省工业和信息化厅 gxt.hunan.gov.cn 时间:2010年01月19日 11:28 【字体:
  

面对TB级(万亿字节)乃至PB级(千万亿字节)的海量信息对传统数据库技术提出的新挑战,国防科大牵头的课题组经过两年攻关成功破解了这一难题。该成果推出4年来,广泛应用于中央、地方等多个政府部门和相关单位,作出了重要贡献。日前,“大规模网络安全数据库系统”项目喜获国家科技进步二等奖。

随着社会信息化程度的不断提高,人们对海量信息处理的需求在不断增加。如大规模网络安全监管、基于互联网的信息分析、大规模科学计算中间结果的保存和处理等,都对传统技术提出了挑战。2003年,国防科大计算机学院与合作单位开始了面向大规模网络安全监控的海量数据库系统研究与开发。

要实现攻关目标,课题组需要在海量数据管理、分析和挖掘等方面取得突破。针对实时网络安全数据有归档数据和流数据的特性,科研人员提出了海量关系数据与高速流数据混合处理的新型数据库管理系统结构,实现了关系模型和流数据模型的融合,并突破了一系列关键技术难题,有效解决了海量数据高效查询、持续加载、在线分析处理等问题。在此基础上,科研团队还开发了自适应的多级容错技术,使得容错服务这个系统全局控制者身强力壮,系统的整体可用性达到了99.99%。

2005年,“大规模网络安全监控数据库系统”研制成功。其中数据存储管理的规模、事务吞吐率、并行加载和查询优化技术均处于国际领先水平。与国际排名前10的数据处理系统相比较,该系统在数据总量、最大表记录数、查询吞吐率等3项关键指标上均超过当前国际最好值。


主办单位:湖南省工业和信息化厅    政府网站标识码:4300000013
地址:湖南省长沙市天心区新韶路467号    邮编:410004
备案号:湘ICP备10004984号-4 技术支持:湖南省政务服务和大数据中心
值班电话(24小时):0731-88955310
湘公网安备 43010302000530号

  • 信访问题服务电话:0731-88955363 (工作日上午8:00-12:00,下午3:00-6:00)

轻松应对TB级海量信息

7673574