分类： LINUX
2009-07-25 21:26:21
Larbin源码分析
Larbin是一个网络爬虫软件，它致力于为搜索引擎提供大量的网页数据源，以满足搜索引擎的需要,同时还提供了web界面，实时监测各种统计信息。
1、重要的数据结
PersistentFifo //用于将要抓取的url存储到本地的类
主要方法：
url *PersistentFifo::tryGet ()//获取一个url
void PersistentFifo::put (url *obj)//将一个url放入
主要属性：
char *fileName;//存储url的文件名
char buf[BUF_SIZE];//用于存储url的数据结构
template
主要方法：
T *tryGet ();//获取一个对象
void put (T *obj);//存储一个对象
主要属性：
T **tab;//用于存储url的数据结构
template
主要方法：
T *tryGet ();//取出一个对象
void put (T *obj);//放入一个对象
主要属性：
T **tab;//用于存储url的数据结构
class NamedSite//站点抽象类
主要方法：
void putGenericUrl//将新解析出来的url放入相应的site
void newQuery ()//查询要抓取的url的网站是不是合法的DNS
主要属性：
url *fifo[maxUrlsBySite];//存储本site下的url
class IPSite
主要方法：
url *getUrl ();//获取一个可以抓取的url
void putUrl (url *u);//放入一个url
int fetch ();//构建链接
主要属性：
Fifo
class url //url抽象类
主要方法：
void parse (char *s);//将一个字符串url解析出host,file.port
主要属性：
char *host;//url站点名
char *file;//文件名
uint16_t port; // 端口名
int8_t depth;//目前的深度
class html//html内容存储类
主要方法：
int endInput ();//根据网页内容，解析出新的链接
主要属性：
// Where are we
url *here;
// beginning of the current interesting area
char *area;
// begining of the real content (end of the headers + 1)
char *contentStart;
// base de l'URL
url *base;
2、主要的全局变量
PersistentFifo *global::URLsDisk;//将抓取的网页存储到本地。
SyncFifo
SyncFifo
uint global::readPriorityWait=0;//有优先级url等待数目
PersistentFifo *global::URLsDiskWait;//本地等待url存储
uint global::readWait=0;//等待的url数目
IPSite *global::IPSiteList;//最终抓取的url中间结构
NamedSite *global::namedSiteList;//存储同一站点中的url
Fifo
Fifo
Connexion *global::connexions;//所有连接
hashTable *global::seen;//已经下载的网页，用于网页排重
void sequencer()
通过调用static bool canGetUrl (bool *testPriority)，将URLsDisk或 URLsPriority或URLsPriorityWait或 URLsDiskWait中的url放入到相应的site中，即namedSiteList中。
void fetchDns ()
将dnsSites中的各种host进行dns验证。
void fetchOpen()
从 okSites获取可下载的网址，构建http客户端请求。
void checkAll ()
检验所有链接global::connexions，判断链接状态，进行读写。
HTTP客户请求的数据格式说明
HTTP请求包括三部分：请求行(Request Line)，头部(Headers)和数据体(Body)。其中，请求行由请求方法(method)，请求网址Request-URI和协议 (Protocol)构成，而请求头包括多个属性，数据体则可以被认为是附加在请求之后的文本或二进制文件。
下面这个例子显示了一个HTTP请求的Header内容:
GET /index.html HTTP/1.1
Accept:text/html
User-Agent:larbin
Host: ioa.rising.com.cn
From：jiangzy@rising.com.cn
我们参考这个例子具体解释HTTP请求格式。
1.HTTP请求行：请求行格式为Method Request-URI Protocol。在上面这个例子里，"GET / HTTP/1.1"是请求行。
2.Accept:指浏览器或其他客户可以接爱的MIME文件格式。可以根据它判断并返回适当的文件格式。
3.Accept-Charset：指出浏览器可以接受的字符编码。英文浏览器的默认值是ISO-8859-1.
4.Accept-Language：指出浏览器可以接受的语言种类，如en或en-us，指英语。
5.Accept-Encoding：指出浏览器可以接受的编码方式。编码方式不同于文件格式，它是为了压缩文件并加速文件传递速度。浏览器在接收到Web响应之后先解码，然后再检查文件格式。
6.Authorization：当使用密码机制时用来标识浏览器。
7.Cache-Control：设置关于请求被代理服务器存储的相关选项。一般用不到。
8.Connection：用来告诉服务器是否可以维持固定的HTTP连接。HTTP/1.1使用Keep-Alive为默认值，这样，当浏览器需要多个文件时(比如一个HTML文件和相关的图形文件)，不需要每次都建立连接。
9.Content-Type：用来表名request的内容类型。可以用HttpServletRequest的getContentType()方法取得。
10.Cookie：浏览器用这个属性向服务器发送Cookie。Cookie是在浏览器中寄存的小型数据体，它可以记载和服务器相关的用户信息，也可以用来实现会话功能。
11.Expect：表时客户预期的响应状态。
12.From：给出客户端HTTP请求负责人的email地址。
13.Host：对应网址URL中的Web名称和端口号。
14.If-Match：供PUT方法使用。
15.If-Modified-Since：客户使用这个属性表明它只需要在指定日期之后更改过的网页。因为浏览器可以使用其存储的文件而不必从服务器请求，这样节省了Web资源。由于Servlet是动态生成的网页，一般不需要使用这个属性。
16.If-None-Match：和If-Match相反的操作，供PUT方法使用。
17.If-Unmodified-Since：和If-Match-Since相反。
18.Pragma：这个属性只有一种值，即Pragma：no-cache,表明如果servlet充当代理服务器，即使其有已经存储的网页，也要将请求传递给目的服务器。
19.Proxy-Authorization：代理服务器使用这个属性，一般用不到。
20.Range：如果客户有部分网页，这个属性可以请求剩余部分。
21.Referer：表明产生请求的网页URL。
比如从网页/beijing.html中点击一个链接到网页/qingdao.html,在向服务器发送的GET /beijing.html中的请求中，Referer是 。这个属性可以用来跟踪Web请求是从什么网站来的。
22.Upgrage：客户通过这个属性设定可以使用与HTTP/1.1不同的协议。
23.User-Agent：是客户浏览器名称。
24.Via：用来记录Web请求经过的代理服务器或Web通道。
25.Warning：用来由客户声明传递或存储(cache)错误。
