怎么让搜索引擎搜索不到

[themass]

怎么让搜索引擎搜索不到,用户有一些敏感信息希望不被搜索引擎搜索到怎么做

[哈哈]

登录后才允许查看

[李睿_Lee]

在站点根目录里或页面中根据拒绝蜘蛛协议（Robots Exclusion Protocol）加注拒绝收录的标记，蜘蛛就不会去爬了。

[李睿_Lee]

当Robot访问一个Web站点时，比如http://www.some.com/，它先去检查文件http://www.some.com/robots.txt。如果这个文件存在，它便会按照这样的记录格式去分析：　　User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/以确定它是否应该检索站点的文件。这些记录是专门给Web Robot看的，一般的浏览者大概永远不会看到这个文件。
　　在一个站点上只能有一个“/robots.txt”文件，而且文件名的每个字母要求全部是小写。在Robot的记录格式中每一个单独的“Disallow” 行表示你不希望Robot访问的URL，每个URL必须单独占一行，不能出现“Disallow: /cgi-bin/ /tmp/”这样的病句。同时在一个记录中不能出现空行，这是因为空行是多个记录分割的标志。
　　User-agent行指出的是Robot或其他代理的名称。在User-agent行，'*' 表示所有的Robot。
　　下面是几个robot.txt的例子：
　　在整个服务器上拒绝所有的robots：User-agent: *Disallow: /
　　允许所有的robots访问整个站点：User-agent: *Disallow: ；或者产生一个空的“/robots.txt”文件
　　服务器的部分内容允许所有的robot访问User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /private/
　　拒绝某一个专门的robot：User-agent: BadBotDisallow: /
　　只允许某一个Robot光顾：User-agent: WebCrawlerDisallow:User-agent: *Disallow: /
　　最后我们给出 http://www.w3.org/站点上的robots.txt：


　　# For use by search.w3.org
　　User-agent: W3Crobot/1
　　Disallow:
　　User-agent: *
　　Disallow: /Member/ # This is restricted to W3C Members only
　　Disallow: /member/ # This is restricted to W3C Members only
　　Disallow: /team/ # This is restricted to W3C Team only
　　Disallow: /TandS/Member # This is restricted to W3C Members only
　　Disallow: /TandS/Team # This is restricted to W3C Team only
　　Disallow: /Project
　　Disallow: /Systems
　　Disallow: /Web
　　Disallow: /Team
　　Robots META tag的格式为：
　　〈META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"〉
　　像其他的META tag一样，它应该放在HTML文件的HEAD区：
　　〈html〉
　　〈head〉
　　〈meta name="robots" content="noindex,nofollow"〉
　　〈meta name="description" content="This page ...."〉
　　〈title〉...〈/title〉
　　〈/head〉
　　〈body〉
　　...

　　Robots META tag指令用逗号隔开，可以使用的指令包括[NO]INDEX和[NO] FOLLOW。INDEX指令指出一个索引性Robot是否可以对本页进行索引，FOLLOW指令指出Robot是否可以跟踪本页的链接。缺省的情况是INDEX和FOLLOW。例如：

　　〈meta name="robots" content="index,follow"〉
　　〈meta name="robots" content="noindex,follow"〉
　　〈meta name="robots" content="index,nofollow"〉
　　〈meta name="robots" content="noindex,nofollow"〉
　　在制作和维护Web时，应当考虑对Web Robot程序的管理。

当然，如果蜘蛛的设计者不遵循标准，以上方法就无法阻止了。

[李睿_Lee]

另外，在IIS的日志里可以看到有哪些蜘蛛来过。

[BlueDestiny]

<meta name="ROBOTS" content="all | none | index | noindex | follow | nofollow"> 来确定:
设定为"all"时文件将被检索，且页上链接可被查询;
设定为"none"则表示文件不被检索，而且不查询页上的链接;
设定为"index"时文件将被检索;
设定为"follow"则可查询页上的链接;
设定为"noindex"时文件不检索，但可被查询链接;
设定为"nofollow"则表示文件不被检索，但可查询页上的链接.

[bingdian37]

登陆限制

[niewenmin]

<meta name="ROBOTS" content="all | none | index | noindex | follow | nofollow"> 来确定:
设定为"all"时文件将被检索，且页上链接可被查询;
设定为"none"则表示文件不被检索，而且不查询页上的链接;
设定为"index"时文件将被检索;
设定为"follow"则可查询页上的链接;
设定为"noindex"时文件不检索，但可被查询链接;
设定为"nofollow"则表示文件不被检索，但可查询页上的链接.


这上面写的很清楚
在你不想被搜索引擎搜索到的页面的head部位加入<meta name="ROBOTS" content="none">，如果整站的文件都不想被搜索，则在整站的每个页面都加入上面这段到head部位！