迷彩 潜伏 隐蔽 伪装
发布时间:2013-10-05 09:39:04
我们接着分析,上一章节中讲到了,allocator将满足特定frameworkID的资源列表offerable,发送给了Master::offer()函数,我们就来看看offer函数做了什么工作:点击(此处)折叠或打开void Master::offer(const FrameworkID& frameworkId, .........【阅读全文】
发布时间:2013-09-29 09:26:16
有人问我,“你在大数据和Hadoop方面有多少经验?”我告诉他们,我一直在使用Hadoop,但是我处理的数据集很少有大于几个TB的。他们又问我,“你能使用Hadoop做简单的分组和统计吗?”我说当然可以,我只是告诉他们我需要看一些文件格式的例子。他们递给我一个包含600MB数据的闪盘,看起来这些数据并非样本数据,由于一.........【阅读全文】
发布时间:2013-09-22 10:45:19
Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上都是跑在Hive上面。尽管很多人对Hive有看法,效率低,查询慢,bug多。但是并不可否认hive是一个开创性的工具,提供了更多的想象空间。而且,在生产集群上的数据查询程序的开发效率,Hive要远远高于自己写MR。......【阅读全文】
发布时间:2013-09-13 12:47:20
个人觉得大数据的支撑技术需要关注:1、数据中心SDN网络技术2、服务器并行对等计算集群技术3、应用系统的并行分布式集群技术4、应用系统的面向整体应用框架的设计模式5、用户终端的计算资源利用技术因此未来网络中的应用多会以分布式并行模型出现,同时在网络数据交换中依托SDN网络的智能能力,数据将可以在更高层进.........【阅读全文】