论坛在线列表中看到类似搜索器这样的IP群出现。我应该如何处理？

[neodotnet]

如题

[leo_s_man]

国内外一些大的搜索引擎正在搜索您的网站信息并进行引擎数据库的更新。

总的来说这不是坏事。并且没有办法屏蔽，

这些爬虫的搜索原理很精妙，不必刻意去拦截或者阻止它们的访问。

搜索一般分为两种，一种是定期搜索，即每隔一段时间（比如Google一般是28天），

搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，

一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。

另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，

它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，

扫描你的网站并将有关信息存入数据库，以备用户查询。

由于近年来搜索引擎索引规则发生了很大变化，

主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些

外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。

这个问题好像在哪里遇到过？

• 打赏
• 举报

回复 赞