近日,中石油再传捷报--由中国石油集团东方地球物理勘探有限责任公司(BGP)与浪潮集团合作完成CPU/GPU异构并行叠前时间偏移地震信息处理软件(PSTM)成功应用于中石油委内瑞拉站点,由浪潮提出的“CPU-GPU协同计算”的HPC计算架构,成功打造了我国坚持应用创新引领高性能发展的经典案例,此举不仅满足了国内油气勘探需求,也为中石油集团参与国际竞争,提升我国在国际石油市场话语权奠定了坚实的基础。
隐藏在“石油争夺战”背后的大国角力
石油是工业的血脉,谁占据了石油,谁就在世界经济和政治中占据了话语权。美国着名国际政治学专家汉斯·摩根索曾经有一段较为深刻的描述:“谁能把它们加入自己的其他原料来源,谁就大大增加了自己的资源,并且以同样比例剥夺了对手的资源。在这个意义上,对它们的控制一向是强权分配的一个重要因素。
正是由于这个原因,英国,美国,在一段时间里还有法国,在近东从事那种被适当地称为”石油外交“的活动,即建立势力范围,从而在某些地区得以独占石油储藏。”近30年来的世界石油资源较量和斗争史,以及未来世界石油资源格局的演变趋势表明,世界能源生产或消费大国,特别是美、欧、俄等西方国家及其跨国公司将会继续采取一切可能的手段和方式,甚至不惜通过战争来争夺和控制世界上具有稀缺性、战略性的油气资源。
随着经济的持续、快速增长,处在能源消费增长中心的中国,将不可避免地面临着与油气资源消费大国之间的激烈竞争。然而时至今日,中国尚未能建立起自己的战略石油储备,对于世界石油市场走势缺少发言权,石油短缺对中国经济、政治能量的释放的制约效应将越发显现。为此,我国正积极制定并实施符合中国国情的保障国家石油供应安全的国家战略,不断加强与中东、拉美国家和地区的战略合作,逐步形成石油储备的后花园。
中国的“麦哲伦”,20天寻宝2000平方公里
近年来,我国对石油资源的需求呈爆发式增长,鉴于委内瑞拉石油资源的丰富性,中国不断加强与委内瑞拉间就石油方面的合作。中国石油集团是世界排名第五位的国内公司,长期以来肩负着满足国民经济发展对油气资源日益增长的需求和维护国家的经济安全和能源安全的使命。早在2009年,中国石油集团代表中方将向委内瑞拉提供期限10年总额相当于200亿美元的融资贷款,并成为国内首批获得委内瑞拉石油开采权的企业。然而在首次合作开采的过程中,中石油却遭遇了十分棘手的大麻烦。原来,委内瑞拉是一个地貌复杂的国家,高原、山地、平原错落分布,地质构造极其复杂,这对于油田勘探开发精确性提出了严峻的考验。
据相关项目负责人介绍, “我们需要通过国际主流的叠前时间偏移技术,来确定开采地地质剖面的构造格局,保证开采的精度。这也是我们在完成石油开采工作的最关键的一步,换一句话说,我们必须要先知道宝贵的石油资源究竟在哪里,这个问题不弄清楚,其他一切都是空谈。最为头疼的是,等待我们的是2000平方公里的地质计算分析,而全部勘测的周期仅有20天,在当时看来,这几乎是不能完成的任务。” 而这一几乎不可能的完成的任务落在了中国石油集团东方地球物理勘探有限责任公司(BGP)科研工作者们的身上,“20天!我们必须拿下这个项目!”
CPU-GPU协同计算,诺亚之舟扬帆启程
20天挑战2000平方公里的地质计算分析,核心考验的是设备的计算力。作为世界第三大、亚洲第一大石油勘探公司,中石油BGP清醒地认识到这一点。中石油BGP是中国最大的HPC系统用户,自身具备强大的软件与应用开发能力,经过专业的考量,最终向国内HPC的领导品牌浪潮集团抛出了橄榄枝。经过周密的实地考察和现场模拟计算后,浪潮发现,用于计算的HPC计算资源大部分被PSTM、RTM等处理软件所占用,如一个800平方公里的三维数据处理,1.4TB的数据,采用最新的5000个CPU核,需要15-20天才能完成RTM处理。传统的HPC系统计算能力与日益迫切的海量计算需求存在较大差距,如何提升实际应用计算力,是浪潮与BGP要面临的核心课题。浪潮集团CPU-GPU计算结构专家仔细分析了BGP的应用需求,针对叠前时间偏移的应用特点,得出叠前时间偏移能够很好的利用GPU技术特点,创新的提出CPU-GPU协同计算的HPC计算架构,合作完成CPU/GPU异构并行叠前时间偏移地震信息处理软件(PSTM),使整个集群系统性能获得进一步提升。
经过紧密和沟通和针对性的讨论,浪潮集团与BGP确定联合开发的模式: BGP提供理论算法支持,浪潮集团根据理论算法完成核心算法对GPU的移植和优化,并对集群软件系统进行整体应用的调优。在浪潮集团与BGP联合开发的PSTM项目过程中,采用了两套CPU-GPU集群系统,分别为基于E5620/C1060的应用开发系统和针对委内瑞拉处理项目专门构建的X5650/C2070商用系统。,每个GPU计算节点采用浪潮NF5188系列双路服务器,节点CPU采用两块最新的Intel Xeon 5650、两块Tesla C2070 GPU,从而在计算单元和系统整体性能获得大幅提升。
国内联合应用开发的系统拓扑结构简图
委内瑞拉系统结构简图
基于CPU-GPU协同计算的HPC创新架构,双方在PSTM程序设计方面全面考虑了集群软件的性能调优。针对GPU的特点,浪潮集团分别在GPU核心优化、PCI-E优化、双流双缓冲、CPU/GPU协同计算与CPU/GPU共同计算、CPU/GPU负载均衡、集群系统节点间负载均衡等各个方面进行了优化。在采用最新CPU(X5650)和GPU(C2070)的集群系统中,整体应用程序获得超过5倍加速比,帮助中石油在委内瑞拉项目启动后的20天内一举完成了“不可能完成”的任务,同时该集群系统的这一性能数字,已达到国际先进水平,使我国石油资源勘探工程拥有了可以比肩世界发达国家的战略级装备。“不仅如此,为了提高软件与系统运行的可靠性,PSTM集群软件特殊设计了checkpoint功能、GPU设备自适应等策略,可以大大提升硬件故障情况下系统的可运行性。” 中石油BGP相关负责人介绍说,“在项目设计过程中,开发专家不断在系统可升级、可扩展性方面持续开发,如代码对不同架构GPU的支持、对CPU与GPU升级的负载均衡问题再调优、对GPU核心的再调优等,从而实现对C1060集群和C2050/C2070集群的自适应,并可获得最高加速比;完成对C1060集群与C2050/C2070集群所组成的混合集群的自适应等。不仅保护了原有的投资,同时保证了系统未来的可扩展性。”
“好用”更要“用好”,应用创新引领HPC发展
今天,在开放的技术体系架构下,集群技术已经广泛应用于百万亿次、千万亿次甚至更高计算能力的高性能计算机,但如何将计算能力与实际应用相结合、将计算能力转化为用户的应用价值一直是一个非常具有挑战性的问题。对此,作为国内领先的HPC应用创新领导厂商,浪潮高性能一贯提倡深度挖掘行业应用,提出HPC系统不仅要“好用”,更要“用好”的研发理念,不仅建立了高性能专业应用研究与开发团队,同时还不断完善高性能应用创新体系,完善自主的高性能应用产品线。
在这一理念下,浪潮围绕HPC应用自主研发了刀片服务器、2路机架、8路/32路高端服务器、海量存储设备等,尤其是通过仔细研究HPC行业的发展趋势,成为国内最早布局基于CPU-GPU的HPC异构架构的IT厂商,设立专门的行业软件移植开发团队-应用开发处,专业研究GPU技术、MIC技术等最新的计算技术,关注其生态环境建设,并将这些先进技术引入HPC行业用户,通过与客户强强合作联合开发,形成了独特的异构HPC行业软件开发的方法论。
“中石油BGP委内瑞拉项目就是浪潮坚持以应用创新驱动HPC发展的典型尝试。”浪潮HPC负责人刘军先生表示,浪潮将通过“好用”的HPC系统,加上专业的HPC应用、软件开发优化团队,构建浪潮独特的软硬件一体化整体解决方案,提供给客户“用好”HPC系统的平台与技术,推动中国高性能事业实现规模化推广和应用。