网站seo中用到的robots.tex文件的写法

[csluluuu]

robots.txt文件常用写法示例

　　robots.txt文件用法举例：

　　1. 允许所有的robot访问

　　User-agent: * Allow: / 或者 User-agent: * Disallow:

　　2. 禁止所有搜索引擎访问网站的任何部分

　　User-agent: *

　　Disallow: /

　　3. 仅禁止Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Disallow: /

　　4. 仅允许Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Disallow:

　　5. 禁止spider访问特定目录

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/
以上就是我们在seo中常需要用到的写法