社区
C#
帖子详情
怎样才能让google收不到你的网页
dabobonima
2007-08-15 05:16:02
象51job这样即使你有资料再他上面,收的时候也让他收不到你的信息!
...全文
177
6
打赏
收藏
怎样才能让google收不到你的网页
象51job这样即使你有资料再他上面,收的时候也让他收不到你的信息!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
zhnzzy
2008-05-07
打赏
举报
回复
xuexi
zhnzzy
2008-05-07
打赏
举报
回复
[Quote=引用 3 楼 John2007 的回复:]
什么是robots.txt?
robots.txt是一个纯文本文件,通过在这个文件中声明该网站中不想被robots访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。
当一个搜索机器人访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果找到,搜索机器人就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。
robot…
[/Quote]
zhnzzy
2008-05-07
打赏
举报
回复
[Quote=引用 2 楼 John2007 的回复:]
"robots.txt "文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
" <field> : <optionalspace> <value> <optionalspace> "。
在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:
User-agent:
该项的值用于描述搜索引擎robot…
[/Quote]
John2007
2007-08-15
打赏
举报
回复
什么是robots.txt?
robots.txt是一个纯文本文件,通过在这个文件中声明该网站中不想被robots访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。
当一个搜索机器人访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果找到,搜索机器人就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。
robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
John2007
2007-08-15
打赏
举报
回复
"robots.txt"文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
"<field>:<optionalspace><value><optionalspace>"。
在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:
User-agent:
该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中, "User-agent:*"这样的记录只能有一条。
Disallow :
该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow 开头的URL均不会被robot访问到。例如"Disallow: /help"对/help.html 和/help/index.html都不允许搜索引擎访问,而"Disallow: /help/"则允许robot访问/help.html,而不能访问/help/index.html。
任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在"/robots.txt"文件中,至少要有一条Disallow记录。如果 "/robots.txt"是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。
下面是一些robots.txt基本的用法:
l 禁止所有搜索引擎访问网站的任何部分:
User-agent: *
Disallow: /
l 允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 "/robots.txt" file
l 禁止所有搜索引擎访问网站的几个部分(下例中的cgi-bin、tmp、private目录)
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
l 禁止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /
l 只允许某个搜索引擎的访问(下例中的WebCrawler)
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
BearRui
2007-08-15
打赏
举报
回复
加入session就行了、
其实想搜索引擎搜索不到很简单,在网站的根目录下加个什么bot.txt文件(具体什么名就不知道了),在文件中说明网站禁止搜索就好了
Google
语音(由
Google
)「
Google
Voice (by
Google
)」-crx插件
- 如果某个电话号码没有变成任何网站上的链接(例如:
Google
日历),您可以使用鼠标选择文本,点击呼叫弹出窗口将自动显示(注意:可能不适用于所有号码)。 信息: - 如果您不喜欢分机将号码转换为点击通话链接,...
关于手机无法弹出谷歌通知栏验证的问题
要解决这个问题,我们首先要知道这个通知栏是
google
play服务弹出来的,之所以弹不出来是因为手机安装的
google
play服务有问题 我们很多人选择安装谷歌套件时都会选择ourplay,如果你是使用ourplay安装的
google
...
Google
开发专家带你入门神经网络
购买后添加“助手小姐姐”微信,还可有不定期直播活动和老师答疑哦! 【授课老师】 彭靖田
Google
Developer Experts。 曾为 TensorFlow Top 40 的贡献者,著书《深入理解TensorFlow》,是国内第一本深度剖析 ...
解决学校邮箱屏蔽邮件的问题/
收不到
邮件
问题:很多邮箱如QQ邮箱发的邮件会被学校邮箱误屏蔽截拦,并且不给提示,非常坑。 说明:西电邮箱可以这么解决,不知道其他学校邮箱能不能解决…… 登录:http://smg.stumail.xidian.edu.cn/gw/user/ 输入邮箱的...
谷歌分析(
Google
Analytics)怎么用?谷歌分析使用方法教程
如果你想做知道,你的网站访客来自哪里,在网站都看了什么,那些
网页
受欢迎,那些流量得到了比较好的转化。那么谷歌分析肯定可以帮助到您。你可能花费了很多的时间以及金钱,在做错误的关键词优化,错误的广告投放。...
C#
110,535
社区成员
642,577
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章