从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的进行处理,必须采用。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的、和、。[2]
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模(MPP)数据库、数据挖掘电网、、、、互联网和可扩展的。
最小的基本单位是bit,按顺序给出所有单位:、、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB,
它们按照进率1024(2的十次方)来计算:
8 = 1
1 = 1,024 Bytes
1 = 1,024 KB = 1,048,576 Bytes
1 = 1,024 MB = 1,048,576 KB
1 = 1,024 GB = 1,048,576 MB
1 = 1,024 TB = 1,048,576 GB
1 = 1,024 PB = 1,048,576 TB
1 = 1,024 EB = 1,048,576 PB
1 = 1,024 ZB = 1,048,576 EB
1 = 1,024 YB = 1,048,576 ZB
1 = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,处理速度快,1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的有着本质的不同。第四,只要合理利用数据并对其进行正确、准确的分析,将会带来很高的价值回报。业界将其归纳为4个“V”——Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值)。
、、、、、、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。
[6]有些例子包括网络日志,,,,社会数据(由于数据革命的),互联网文本和文件;互联网搜索索引;呼叫详细记录,,,,,生物,和其他复杂和/或跨学科的科研,军事侦察,医疗记录;摄影档案馆视频档案;和大规模的 。
大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言,大数据的“廉价、迅速、优化”这三方面的是最优的。
阅读(1262) | 评论(0) | 转发(0) |