Chinaunix首页 | 论坛 | 博客
  • 博客访问: 716220
  • 博文数量: 235
  • 博客积分: 4309
  • 博客等级: 中校
  • 技术积分: 2325
  • 用 户 组: 普通用户
  • 注册时间: 2011-01-17 11:25
个人简介

If you don\\\\\\\\\\\\\\\'t wanna do it, you find an EXCUSE; if you do, you\\\\\\\\\\\\\\\'ll find a WAY :-)

文章分类

全部博文(235)

文章存档

2014年(3)

2013年(2)

2012年(31)

2011年(199)

分类: LINUX

2011-10-30 22:32:56

  1. WordPress robots.txt
  2. robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件。
  3. Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
  4. robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
  5. robots.txt文件的格式:
  6. User-agent: 定义搜索引擎的类型
  7. Disallow: 定义禁止搜索引擎收录的地址
  8. Allow: 定义允许搜索引擎收录的地址
  9. 例1.:禁止所有搜索引擎访问网站的任何部分
  10. User-agent: *
  11. Disallow: /
  12. 例2:淘宝不允许百度的机器人访问其网站下其所有的目录
  13. User-agent: Baiduspider
  14. Disallow: /
  15. 例3. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
  16. User-agent: *
  17. Allow:
  18. 例4. 禁止某个搜索引擎的访问
  19. User-agent: BadBot
  20. Disallow: /
  21. 例5. 允许某个搜索引擎的访问
  22. User-agent: baiduspider
  23. allow:/
  24. 推荐:Wordpress robots.txt
  25. User-agent: *
  26. Disallow: /wp-admin
  27. Disallow: /wp-includes
  28. Disallow: /wp-content/plugins
  29. Disallow: /wp-content/cache
  30. Disallow: /wp-content/themes
  31. Disallow: /trackback
  32. Disallow: /tag
  33. Disallow: /author
  34. Disallow: /wget/
  35. Disallow: /httpd/
  36. Disallow: /cgi-bin
  37. Disallow: /images/
  38. Disallow: /search
  39. Disallow: /feed
  40. Disallow: /feed/
  41. Disallow: /trackback/
  42. Disallow: /rss
  43. Disallow: /comments/feed
  44. Disallow: /feed/$
  45. Disallow: /*/feed/$
  46. Disallow: /*/feed/rss/$
  47. Disallow: /*/trackback/$
阅读(1998) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~