CSS
网站seo中用到的robots.tex文件的写法
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区robots.txt文件常用写法示例
robots.txt文件用法举例：
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
以上就是我们在seo中常需要用到的写法
robots.txt文件用法举例：
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
以上就是我们在seo中常需要用到的写法
...全文
相关推荐
Laravel开发-robots-sitemap
Laravel开发-robots-sitemap 用于Laravel的机器人和站点地图生成器包
edp 千1.docx
edp 千1.docx
产业园区运营负责人如何提升园区企业的技术需求对接效率和转化成功率？.docx
产业园区运营负责人如何提升园区企业的技术需求对接效率和转化成功率？
产业园区运营负责人如何提升园区内企业与科研机构的协同创新能力？.docx
产业园区运营负责人如何提升园区内企业与科研机构的协同创新能力？
数字高校智慧校园AI知识库平台规划方案（决策评审版）.pptx
数字高校智慧校园AI知识库平台规划方案（决策评审版）.pptx
