分类： IT业界
2012-01-06 16:38:51
今天是2011年最后一个周五，倒数第二个工作日，在老美、老欧们本周全部过节失语时，还是有一些专家（注意不是砖家）教授（注意不是叫兽）仍然在进行年终的总结和下一年的展望，想想其实我们比彼岸的那些大佬们幸福，因为元旦过后，中国人的大节才开始接近，和元旦一起前后历时整整一个月时间，无心工作啊，就算我等乙方有心，客户们也都张罗着放假了，喜庆的气氛逼近中.... 而老美老欧们过完圣诞和元旦就得正式开工了，信基督的庆祝完自己主神的生日，不信基督的趁机放假购物血拼，13薪、14薪.... 27薪的也拿完了，上班吧，所谓西历果然是为西方准备的日历... 那边也会有些过年控会坚持年并没有过完，是啊，离财年结束还有一个月时间，可是13薪都发完了，财年还有什么意义呢
回到我们的主题上来，做为DELL HPC Sr. Advisor，我认为有必要去看一下这个阶段还在工作的美国大佬们的评论，听一听来自HPC的翘首米国的言辞并介绍给各位同仁。
还是先从TOP500说起吧...
上面两张TOP500的统计饼图，左边是按供应商的装机数量统计的结果，右边是按供应商提供系统的总性能统计的结果。这两张图我并不愿意常用， 因为DELL在其中的比例实在是不怎么好看，但我从来没为此灰心过（至少DELL都出现在里面 ^_^），用积极的心态去看有两点：一是根据目前的情况，我们还有大量的上升空间；二是如果看TOP5000的话，DELL的份额会非常之好，当然没有数据仅为推论。SMB是DELL最擅长的市场，而LE是正在攻坚的方向…
本文仍然专注于主流的HPC 供应商和热点话题的分析上，尽管DELL并不属于1st- class的阵营，但并不影响我们以一个跟随者的目光去研究HPC最上层社会的格局和了解高屋建瓴的谋略与思想，听说始皇帝建国时，刘邦不过是个亭长…
在HPC第一厂商阵营里，除了IBM和HP两位熟客，还有一些看上去并非主流的IT厂商，从总性能统计图中我们看到IBM/HP占的比例远小于按系统套数计算的结果，却出现了像Fujitsu/Cray/Bull/Appro/Dawning这样品牌上难以与IBM/HP/DELL抗衡的玩家，几年前甚至还有更偏僻的如Linux Networx这样的来自山沟戈壁里喝风长大的小厂也能分一小块Pizza 走。另外榜单上无法显示却在HPC中有重量级地位的像DDN/Mellanox/PGI/Platform这些没有主机产品（无浮点计算能力啊）却提供重要系统部件如存储、网络、原代码编译器及集群管理调度等组成部分的小众品牌，更有像Lustre/Goto/PBS等少为人知的开源大作， 我早在给大家介绍HPC行业时就说过，HPC看上去很火，其实是一个剑走偏锋、小俱乐部成员、垂直度很深和为达某些目的而采取极端手段的领域，这和另一个也很火爆的概念云计算走的路好像正相反…. 在大家都开口必称云解决方案，说自己是云俱乐部的重要成员时，上面那些小品牌HPC厂商基本没有这样的言论出现，很低调是吧，的确两个概念目前还无法融合，这很现实….
从统计饼图上看，这些品牌加起来的性能之和已经接近两大巨头，装机数量却少的可怜，如Fujitsu在TOP500榜单上只有四套系统，CRAY的总数也不多，但性能上却加起来接近30%，超过老大哥IBM的27.3%，为什么，因为每套系统都是顶级的，这种非主流厂商一年也做不了几个系统，做成一个就是巨无霸，买家是谁，不用问了，基本全是以米国政府为背景的国家实验室、能源部和军方。对了，这里有个奇怪的名字：NUDT，占了4.5%的性能Pizza，其实就靠一套上榜的系统夺得的成绩（很厉害目前排在第二位，以前呢，排在第一，汗...），这谁啊，天朝的国防科大呀，买家呢？不用说，你懂的。这么牛的系统在干什么？一说啥都干忙得不行，二说就为跑个Linpack狂加GPU冲击名次到目前还空在那里。到底怎样，咱不清楚也不便发表言论。 当然，我并没有说IBM、HP包括DELL就做不出巨无霸来，事实上，这几家都有各自的顶梁柱系统存在，不会比这些小众品牌做的东西差，但考虑到品牌、资金和规模等综合因素，小众所表现出的专注和与敢与强势品牌对抗的决心，还是值得整个HPC业界及用户为其鼓掌.... DELL嘛，有时还真不好说是哪一边的.... DELL做得最大的HPC系统是什么，排在TOP500的No. 39位，在老家德州大学的TACC（Texas高级计算中心）的刀片集群系统。注：此德州非我天朝出扒鸡的那个地方，那里有个德州学院是真的，就那小学校也有几套HPC....
说了这么多废话，让我们切入主题吧，听一听几位美国HPC领域的媒体编辑、调查机构的专员们如何评论HPC这一年的表现和明年的预期，下面的意见和论点来自一段13分钟的英文录音，MP3格式，download from , Download了，有人兴奋吗？
因为是取其论点，必须提及能够听到名字的专家：Michael Feldman和Addison Snell。不要以为媒体的编辑和独立评论员就不是专家，NBA的全明星球员是谁选出来的，记者。中超的比赛结果谁指定的，领导，当然后来都被抓进去了。所以来自第三方的评论至少是客观公平的，也不乏专业的。受限于个人的英文水平以及原始资料只有录音没有文本，不会放上来逐字逐句的全译文，同时也查阅了其它相关资料，截取归纳了对话中的主题意旨，谨为HPC关注者做参考：
1. 上来大家say hello，看上去都是老朋友的样子，说些圣诞到了大家还在工作之类的开场白，按下不表。
2. 开始讨论过去一年中的Big Story，所发生的大事件。第一个大事件，被认为是IBM在NCSA的Blue Waters工程中的跳票。 用户是NCSA，即美国国家超级计算应用中心（National Conter for Supercomputing Applications），系统名称为蓝水（Blue Waters），看名字就知道是IBM的业绩，蓝色巨人一直标榜其蓝色因素（但DELL和HP的LOGO也是同样的蓝？），之前的巨作有赢了国际象棋大师的深蓝、劳伦斯利弗莫尔国家实验室的蓝色基因，以及这次的蓝水工程，总之很蓝就是了。蓝水第一期由IBM Power7芯片构成，但到了2011年中期，IBM认为这个项目不赚钱而中止合同，退出了（Walk away），奇怪中止合同难道不受罚的吗？后来NCSA很快又找到了其它的替代者-CRAY，其实还有三家愿意来但未入NCSA法眼而不予公布了。给了CRAY近两亿美金的合同，让其Redo蓝水工程，项目名称不变，只是硬件结构和供应商换了，CRAY很哈皮，说这与其公司发展的愿景非常吻合，又说接管蓝水会带来更多的机会等等，但我个人以为，IBM又不是傻子，会平白无故的退出吗？CRAY的接管付出了什么代价又获得了什么潜在的利益，对话中没说，但我找了其它文章，记载了CRAY老大Mr.Ungaro的话，其重点在以后的期望上。这不得不让我想起在国内的各大超级HPC DEAL，哪一个不是大伤元气血拼才拿下来的？US，看来也差不多。 接着谈到了CRAY在接管后，二期的蓝水已经改成了X86为主的结构，采用AMD的X86处理器为主，Nvidia Kepler GPU为辅来实现异构计算平台，Kepler GPU是目前Fermi系列M2070/2090的下一代，还在roadmap上没下来，但性能超越Fermi一倍。最后评论员感叹，在米国自己的国家里，IBM都做这样的事，真是即尴尬又不幸啊。个人以为，有啥不幸的，苹果还忽悠大家一个4S，微软跳票就更是家常便饭了，最重要的，用户给的和厂商要的是否匹配？但我也怀疑，米国借全世界的钱买东西，不至于这样小气啊，是不是这次是拿纳税人自己的钱啊？
3. 下一个大事件，被认为是TOP500的当今的首领：来自日本的Fujitsu K Computer（K用日文写出来就是汉字的“京”）. 先从数字上看一眼这个大家伙，当人们刚刚开始欢呼HPC进入千万亿次（Pflops）的时代不久，K就把这个数字提高了10倍，历史上首次获得了10.5 Petaflops的实测峰值，是第二名的5倍， 比第三名到第十名峰值相加之和还要多，用鹤立鸡群来形容真是太正确不过了，专家预测，K将会在TOP500的榜单上保留第一的位置很久，直到其它的系统大量使用新的GPU来超越它，注意，K Computer中并没有使用GPU来辅助或者加速，这又是一个了不起的事情，在Nvidia大肆宣传GPU将取代一切HPC时，K从容的坐在王冠上浇下了一桶冷水。但强大并不代表通用，K的结构几乎完全不同于常规的Cluster，采用很多私有的技术和架构，不能像唐骏的文凭一样随意复制和购买。比如其采用的内部互联网络叫做豆腐（Tofu），说是比InfiniBand还快，我想这么奇怪的名字也只有CRAY的双子宫网络（Gemini）能够和之相比了，至于豆腐和双子宫是什么网络系统跑什么协议，有兴趣的朋友可以自己去调查，为什么采用这么不通用的硬件，因为要实现不通用的性能和目的，市场上没有现成的，就自个儿造一个，做成了其他人也用不了。记得我先前说得话么：为了达到目的而采用极端手段，私有化的网络就是一个例子。要达到什么目的？非常简单，就是获取高性能计算的能力。 评论说，K Computer在2011年中出现并跑出了非常好的测试数据，实现了第一台10Pflops的系统(万万亿次诞生了，万万亿啊，这么多数，掰手指是数不过来地，找张纸画一堆零吧，1后面16个0，不信的话自己算算)，K及时提供了本年度内日本分析所遭受的地震、海啸和核电站事故所需要的计算力，是一台非常impressive的高性能计算系统。由于出现的时机如及时雨一般，可与另外一位TOP108的首领宋江相媲美....
4. 再一个大事件，不好意思，没了... 不是没了，其实有很多，但评论就只谈了以上两个，我也不能乱加上去，评论在说完两个大事件后，直接转向HPC发展趋势的分析上（TOP TREND）
5. 说到趋势，评论所谈到第一个主题竟然是中国+GPU。Michael刚从北京的Nvidia GPU大会上回来，大会于12月14-15日在鸟巢旁边的国家会议中心举行，如果知道Michael会去(不会是去看鸟巢的吧？)，我怎么也会抽时间到现场和他聊几句再合个影啥的，可惜被别的事情占了时间。美国人对中国HPC欣欣向荣的市场和快速的发展惊讶不已，说无论是在TOP500的冲顶路上，还是散落在民间的各种小型HPC系统，都给老美留下的很深的印象。尤其是中国的系统会大量采用GPU这种先进的玩意，太厉害了，从他们的话语间能感到真实的震撼，评论说到，中国就是下一个趋势所在，下一个HPC热点所在。我心想，你们是故意的，还是装傻骗世界人民呢？中国的HPC硬件水平的确已经到了令全球瞩目的状态，问题是，没有什么核心代码在手上啊。HPC所解决的问题，全是靠计算类代码，或者说软件程序来直接完成的，HPC只是垫在下面的硬件盒子，没有软件代码，HPC系统不过是一个热的发烫的机器而已，除了高碳耗电有啥用啊。我想美国人不是不明白，就是在装可爱，把中国先顶上天去，说多么厉害，再进行制裁限运什么的。看看我们可怜的国人，无论是哪个HPC行业，基本全都是在开源代码的基础上进行二次开发，比如和民生相关的天气、医药、汽车、动漫、化工等，和国家实力相关的能源开采、武器制造、环境科学、金融分析、空间探索等，连开源的代码都不好搞到，空有机器跑Linpack，有价值的代码都在米国、日本、法国甚至以色列等国的手里，实在是我们国家根儿上的痛啊.... 人才在哪里？？没人回答，都移民了....
6. 评论接着上面的话题，很自然的切入GPU在HPC中的应用。首先，GPU出现在HPC中已经不是什么趋势，在之前的两年内，已经有大量的GPU实际应用案例。评论谈到，会有越来越多的Vendor参与进来，我想所谓Vendor的概念，应该就是将应用代码转换到GPU平台上的开发者吧。可能是专家们认为这个话题已经谈论的太多，就此中止了，没有更多的陈述在GPU上。其实不用说太多，就证明GPU已经足够火了。
7. 下一个TREND，谈到了Lustre并行文件系统。记得我上一篇文章：高性能计算系统的存储选型，最后所谈到的那个文件系统吗？正是这个Lustre，占了TOP100 50%份额的并行文件系统，鼎鼎大名的开源巨作，来自根据卡耐基梅隆大学的算法为美国能源部开发的原始文件系统，Lustre的名字来源于Linux+Cluster。评论先是谈到了对Lustre几乎没有什么贡献却差点扼杀它的正主：Oralce/Sun，Lustre是个开源代码，品牌最开始被CFS公司拥有，SUN买下了CFS获取了Lustre，Oralce后来又买了SUN而继承了Lustre的名誉所有权，但因与Oracle公司的发展路线不符合，被打入冷宫，然后做Lustre的人陆续离开了Oralce，去了其它的Lustre社区、公司或者用户那里。评论谈到，目前是由Lustre的社区主要在维护Lustre的开源代码，有不同的组织开发出不同基于Lustre的解决方案，如OpenSFS/EOSYS/Terascala/Panasas，还有像DDN/CRAY等直接养一票技术团队自己操作Lustre的厂商，而社区中所认的最源头的Lustre维护组织，是一个叫Whamcloud的公司，做Level 3级别的支持和维护工作，主要技术开发力量在哪里？还用问吗，中国和印度啊。评论说到，经过近几年的发展，TOP500对这个开源文件系统越来越重视，使用越来越多，重量级的HPC用户，如那些个米国国家实验室，都会有自己的Lustre团队专门负责，这些团队和民间的社团组织和公司一起，拉起了Lustre的大旗。说一下Lustre的最大对手，是IBM的GPFS，在Lustre理念的基础上增加了很多高级特性，如MDS的负载均衡，支持UNIX/Windows和Power芯片等，很厉害，但属于商业软件收费很贵。
8. 话题继续，异构平台（Heterogeneous/Hybird），其实就是CPU+GPU平台，有加速器（Accelerator，目前以GPU为主，还有FPGA等更难使用的加速器）的系统，不可避免的又谈到Nvidia，这次出现了强有力但一直没发力的竞争者： Intel公司。英特尔集成众核(Intel MIC)架构的下一代平台，一直以来都是人们看好的加速器产品，但一直没有正式发布，不知他们在想什么。对了，Intel也是跳票砖家，和MS、Apple一样，但人家有本事啊，不出来大家除了等没有什么办法，但加速器市场不同，还有个华人开办的公司Nvidia在盯着，有竞争总是好的... 但也不一定哈，比如天朝石油和上国石化，天朝移动和上国联通，所谓的竞争就是让老百姓掏更多钱.... Sorry, 这不是评论中的话题，跑题了
9. 下一个话题，就是大数据（Big data），在存储业界，大数据早已经是熟悉的名词（及浑浊的概念）。HPC也不例外，因为HPC系统中有一个重要部分就是存储。正为了解决存储的带宽、延迟、容量、备份这些问题，才有了以上所说的Lustre/Gemini/DDN等技术、产品及公司等，HPC存储所占的采购成本比例不如服务器节点那样大，但对性能的影响占到50%以上，调试时出问题的机率在80%以上（link to 高性能计算中的存储选型，这也是我为什么单独写一篇这样文章的原因）。评论并没有细节的谈到大数据是什么，如何做，只是提到这个概念会成为一种趋势。还额外谈到了HPC会随大数据穿越到其它的行业等话题。
10. 十三分钟的对话很快，最后大家互道Merry Christmas and Happy new year，来年再加把劲干吧，你们老美干吧，中国银要过大节了，（超连接到本文开头那段）。 一月底的那一周不要打扰我们，就像本周我们不骚扰你们一样，另外那段时间也不要来中国travel，不是不欢迎你们，怕你们被人类历史上有最有规律的大迁徙给吓着....
马上要踏入2012年了，趁着年底有时间，自己攒了一篇小文以餮读者，也算对自己所服务的HPC行业的动态有个记录。这里是博客，我个人以为写得好不好并不是关键，事情每天都在发生，记下来才是王道，尤其在新旧交替之时..... 我的博客的特点是文字多，图片少，废话多，知识少，经常跑题，可读性非常差，我感谢读到这里的每个读者的耐心..... 最后祝大家过年好.
