MAP/REDUCE:Google和Nutch实现异同及其他

设计要素

nutch包含以下几个部分：

1. 辅助类

Log:记载运行信息；

Time:记载时间信息；

2. 协议类

目的：各种进程之间的通信协议

1. Client和M/R系统通信协议：完成客户端和M/R系统的通信；
2. Job和Task系统通信协议：由于一个任务要分布完成，所以需要任务和子任务之间的通信协议；
3. MapTask和ReduceTask通信协议：由于MAP和REDUCE是一个任务的顺序执行过程，所以需要两者之间的通信协议来对两个步骤进行协调，主要是文件输入输出协调；
4. 进程通信协议：子进程和父进程通信协议；

 

/*版权声明：可以任意转载，转载时请务必标明文章原始出处和作者信息 .*/

张俊林
timestamp:2006年11月26日