2,760
社区成员
发帖
与我相关
我的任务
分享一个网页已经被百度收录了
一个网页已经被百度收录了，搜索网页的关键词可以在百度搜索结果页中显示，现在不想让这个页面被百度收录，也不让这个页面在搜索结果页中显示，要屏蔽他，用技术手段怎么样处理？
...全文
请发表友善的回复…
发表回复
wx_tangjinjinwx 2017-06-29
- 打赏
- 举报
你要狠的话 加个拦截器 直接判断是否是百度爬虫，如果爬虫来了就让他滚蛋就好了，https://www.wuliaokankan.cn/求优化，求大神支招！
Eric_Deng_83 2017-03-13
- 打赏
- 举报
你搜索robots.txt就可以找到屏蔽方法了。
Eric_Deng_83 2017-03-13
- 打赏
- 举报
先把已被收录的文件重命名，然后在网站根目录下放robots.txt文件，内容例如：
User-agent: *
Disallow: /houtai/
Disallow: /wangye.php
