robots.txt的写法

robots.txt文件的基本语法只有两条，第一条是：User-agent，即搜索引擎蜘蛛的名称；第二条是：Disallow，即要拦截的部分。

撰写基本的robots.txt文件的一些语法及其作用。

1、允许所有的搜索引擎访问网站的所有部分(或者建立一个空白的文本文档，命名为robots.txt)。
User-agent:*Disallow:
或者
User-agent:*
Allow:/

2、禁止所有搜索引擎访问网站的所有部分。
User-agent:*
Disallow:/

3、禁止百度索引你的网站。
User-agent:Baiduspider
Disallow:/

4、禁止Google索引你的网站。
User-agent:Googlebot
Disallow:/

5、禁止除百度以外的一切搜索引擎索引你的网站。
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/

6、禁止除Google以外的一切搜索引擎索引你的网站。
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/

7、禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/

8、禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件。
User-agent:*
Disallow:/admin/*.php
Allow:/admin/*.asp

9、禁止索引网站中所有的动态页面（这里限制的是有“？”的URL，如：index.php?id=8）。
User-agent:*
Disallow:/*?*

需要注意的是，robots.txt文件必须放置在一个站点的根目录下，而且文件名必须全部小写。