搜索引擎如何搜集网页

我们来看看搜索引擎抓取网页的时机问题——事先还是即时

大家应该都知道，在网络比较通畅的时候，打开一片网页大概需要1秒钟左右，所以如果在用户查询的时候即时的抓取网络上成千上万的网页并逐一分析，那将不可能满足搜索引擎的响应时间要求，且效率也不高。