全部博文(2759)
发布时间:2014-02-09 10:30:55
一、文件读取剖析 为了了解客户端及与之交互的HDFS、namenode和datanode之间的数据流是什么样的,可以参考下图,该图显示了在读取文件时一些时间的主要顺序:图1 客户端读取HDFS中的数据 客户端通过调用FileSyste对象的open()方法来打开.........【阅读全文】
发布时间:2014-02-09 10:30:28
Hadoop有一个抽象的文件系统概念,HDFS只是其中一个实现。Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中的一个文件系统接口,并且该抽象类有几个具体的实现。Hadoop对文件系统提供了很多接口,它一般使用URI方案来选取合适的文件系统实例进行交互,比如:要想列出本地文.........【阅读全文】
发布时间:2014-02-09 10:23:23
一、开放系统互连(Open Systems Interconnection)——OSI模型·物理层负责把逐个的比特从一跳(结点)移动到下一跳。·数据链路层把物理层转换为可靠的链路。它使物理层对上层(网络层)看起来好像是无差错的。·网络层负责把分组从源点交付到终点,这可能要跨越多个网络(链路)。·运输层负责完整报文的进程到进.........【阅读全文】
发布时间:2014-02-09 10:22:56
Inotify 是一个 Linux 内核特性,它监控文件系统,并且及时向专门的应用程序发出相关的事件警告,比如删除、读、写和卸载操作等。您还可以跟踪活动的源头和目标等细节。作用 性能调优和错误定位的手段; 通知配置文件的改变,这个是服务器编程经常需要.........【阅读全文】
发布时间:2014-02-09 10:19:49
如果我们想知道,在一段时间内,那一个磁盘块被读写的频率最高,怎么办? 我问这个问题是看到taobao kernel wiki上面有这么一段话,看了我十分心痒:通过对blktrace的输出结果进行分析,我们可以对特定时间段内发生的读、写操作的磁盘块进行I/O频次统计。结合通过将磁盘块.........【阅读全文】