全部博文(2759)
发布时间:2014-02-09 10:42:27
前言不搭后语: 如果再不写Windows Azure Pack的安装和配置的文章出来,估计兄弟们就开始指着鼻子骂了。 好吧,开始写吧,把之前做好的截图拿出来配上文字,发在BLOG上,与各位分享,并讨论。 下文中将使用WAP来代替Azure Pack for Windows Server。官方的参考地址是:http://technet.microsoft.com/en-us/library/dn296.........【阅读全文】
发布时间:2014-02-09 10:32:35
MapReduce是一种可用于数据处理的编程模型,Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的,因此,可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集,这里以一个气象数据集分析为例说明之,查.........【阅读全文】
发布时间:2014-02-09 10:30:55
一、文件读取剖析 为了了解客户端及与之交互的HDFS、namenode和datanode之间的数据流是什么样的,可以参考下图,该图显示了在读取文件时一些时间的主要顺序:图1 客户端读取HDFS中的数据 客户端通过调用FileSyste对象的open()方法来打开.........【阅读全文】
发布时间:2014-02-09 10:30:28
Hadoop有一个抽象的文件系统概念,HDFS只是其中一个实现。Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中的一个文件系统接口,并且该抽象类有几个具体的实现。Hadoop对文件系统提供了很多接口,它一般使用URI方案来选取合适的文件系统实例进行交互,比如:要想列出本地文.........【阅读全文】