这样能抓住网络爬虫吗

[tan625747]

http://www.anlili.com/robot?3F5AA2C5904B4E26A7E63BD6BE81DBDD打开一个网页里面包含一个地址：
地址是根据上次的地址用mdb加密而成。

[Gloveing]

抓住网络爬虫？不懂

[xlrtx]

感觉蜘蛛程序一般都会给每个网站设计个深度上限和总上限的

而且也会根据抓到的内容做判断

搜索引擎的蜘蛛程序会读取网站上面的rebot.txt(好像是这个名字吧)的配置来搜索信息

[liujun_ips]

就是挑bug？

[寻找自我]

robot.txt

[无知者无谓]

网络爬虫是很难抓的，只能根据它的行为来判定是正常用户操作还是爬虫，而爬虫的行为特征都不一样。
robot.txt是一个君子协议，目前的3B大战就是因为360不遵守这个协议，直接使用了百度的数据来作结果使得百度非常的不满。

[tan625747]

[Quote=引用 5 楼 的回复:]

网络爬虫是很难抓的，只能根据它的行为来判定是正常用户操作还是爬虫，而爬虫的行为特征都不一样。
robot.txt是一个君子协议，目前的3B大战就是因为360不遵守这个协议，直接使用了百度的数据来作结果使得百度非常的不满。
[/Quote]

我的意思说，上面那个网址，会生成无穷网址。

[酱油党]

[Quote=引用 6 楼 的回复:]

引用 5 楼 的回复:

网络爬虫是很难抓的，只能根据它的行为来判定是正常用户操作还是爬虫，而爬虫的行为特征都不一样。
robot.txt是一个君子协议，目前的3B大战就是因为360不遵守这个协议，直接使用了百度的数据来作结果使得百度非常的不满。


我的意思说，上面那个网址，会生成无穷网址。
[/Quote]楼主我想学习下相关的东西，你能提供相关的资料吗。不管怎么样，先谢过了。