全部博文(2759)
发布时间:2014-08-12 10:06:31
MooseFS(MFS)CephGlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS,不存在单点故障和瓶颈。MDS可以扩.........【阅读全文】
发布时间:2014-08-12 10:05:27
一、简介 Larbin是一个用C++开发的开源网络爬虫,有一定的定制选项和较高的网页抓取速度。 Larbin爬虫结构图及主要模块对应关系如下图所示:  .........【阅读全文】
发布时间:2014-08-12 10:03:26
修改文件名可以有不同的命令方式,比如rename, mv都可以实现对于单个的文件,可以直接使用以上的命令,那如果有大量的类似格式的文件名需要修改成其他格式的,该如何呢?比如某次测试后,保存的文件为 Lan1.txt, Lan2.txt,....Lan100.txt这一百个文件需要在前面添加前缀变成类似 ch7_Lan1.txt,如果你还想使用mv来.........【阅读全文】
发布时间:2014-08-12 10:01:55
本文从外部消息在worker进程内部的转化,传递及处理过程入手,一步步分析在worker-data中的数据项存在的原因和意义。试图从代码实现的角度来回答,如果是从头开始实现worker的话,该如何来定义消息接口,如何实现各自接口上的消息处理。Topology到Worker的映射关系Topology由Spout,Bolt组成,其逻辑关系大体如下.........【阅读全文】