全球来看，对认识、研究和应用还都处于初期阶段。特别是对我国来说，大数据真正落地，还需要迈过三道坎。
第一，数据是否足够丰富和开放?丰富的数据源是产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。
同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多 “信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善，一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国发展需要买过去的第一道砍。
第二，管理理念和运作方式能否适配数据化决策?大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。
第三，是否掌握强大的数据分析工具?要以低成本和可扩展的方式处理大数据，这就需要对整个IT架构进行重构，开发先进的软件平台和算法。这方面，国外又一次走在我们前面。特别是近年来以开源模式发展起来的Hadoop等大数据处理软件平台，及其相关产业已经在美国初步形成。
我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、加工的技术。我国必须掌握大数据关键技术，才能将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了很好的基础。
在各方力量的推动下，大数据科研和产品开发逐渐活跃起来。一个新概念的兴起，最初往往会有人快速地“新瓶装旧酒”。已经存在好多年的商业智能、数据仓库等技术被重新包装，以系统的面目出现在市场上。这也使人困惑：到底大数据与传统数据分析技术有什么差别?可以说大数据最重要的特征是将数据处理的对象扩展到互联网级别(Internet Scale)，技术上的进展主要包括：1)单数据集达到PB级别;2)非结构化占主流;3)几天至数秒内完成高速处理。技术形成了批处理、流处理和交互分析三种计算模式：离线批处理(Batch Processing)技术以MapReduce和Hadoop系统为代表，实时流处理(Stream Processing)技术以Yahoo的S4系统和Twitter的Storm系统为代表，交互式分析(Interactive Analysis)技术以谷歌的Dremel系统为代表。
大数据的火爆，也带动了国内学术界、产业界和政府对大数据的热情，但笔者觉得更大意义在于唤醒了人们对数据的重视。今年以来，中国计算机学会、中国通信学会先后成立了大数据委员会，研究大数据中的科学与工程问题，科技部的《中国云科技发展“十二五”专项规划》和工信部的《物联网“十二五”发展规划》等都把大数据技术作为一项重点予以支持。这些举措着眼长远，短期难以看到效果。但这种热潮的确触发了一场思想启蒙运动，使得“大数据是资产，不是包袱”、“要拿数据说话”等观念逐步深入人心，改变了以往不重视数据积累，不相信数据分析等认识。有了这种思维模式的改变，大数据的应用就有了希望。
阅读(734) | 评论(0) | 转发(0) |
