分类:
2010-12-26 22:02:38
一、搜索引擎蜘蛛不能找到网页
要让搜索引擎发现网站首页,就必须要有外部链接到首页,找到首页后,蜘蛛沿着内部链接找到更深的内容页,所以要求网站要有良好的结构,符合逻辑,并且所有页面可以通过可爬行的普通HTML链接达到,Javascript链接、Flash中的链接等搜索引擎蜘蛛一般不能跟踪爬行,就会造成收录问题。
网站所有页面离首页点击距离不能太远,最好在四五次点击之内。要被搜索引擎收录,页面需要最基本的权重,良好的网站链接结构可以适当传递权重,使尽量多的页面达到收录门槛。
二、找到网页后能不能抓取页面内容
被发现URL必须是可以被抓取的。数据库动态生成、带有过多参数的URL、整个页面都是FLASH、框架结构、可疑的转向、大量复制内容等都可能使搜索引擎敬而远之。
某些文件站长不希望被收录,除了不链接到这些文件,更保险的方法是使用ROBOTS.TXT或者meta robots标签禁止收录。
三、抓取页面后怎样提取有用信息
关键词在页面重要位置的合理分布、重要标签的编写、HTML代码精简、起码的兼容性等可以帮助搜索引擎理解页面,提取有用信息。
只有搜索引擎能顺利找到所有页面,抓取这些页面并提取其中真正有相关性的内容,网站才可以被视为搜索引擎友好的设计。
本文来自:
转载加上:
欢迎访问: