怎么破豆瓣的反爬，还该怎么伪装爬虫

[zjz_52]

我最近在做豆瓣的爬虫，现在是用免费的代理ip爬取得，请求的user-agent也设置了，时间间隔设置的是1到10秒任意，但是时间长了，到大概1000页的时候就返回403了，换别的ip也是403，但是如果重新运行程序又可以继续进行，求各位大牛指导下吧，该怎么伪装爬虫才能逃过去呢

[中华雪碧]

是否是用了同一个请求，sessionid被禁了？

[zjz_52]

引用 2 楼 gagewang1 的回复:

是否是用了同一个请求，sessionid被禁了？

你说同一个请求是说请求的header都一样吗 我user-agent有五个备用 每次随机选一个 我没设置cookie 有关系吗 怎么看是不是sessionid被禁

[waitdream]

引用 3 楼 zjz_52 的回复:

[quote=引用 2 楼 gagewang1 的回复:] 是否是用了同一个请求，sessionid被禁了？

你说同一个请求是说请求的header都一样吗 我user-agent有五个备用 每次随机选一个 我没设置cookie 有关系吗 怎么看是不是sessionid被禁[/quote] 是不是用同一个个sessionid请求了1000次，看你每次发包时候的sessionid是不是一样的~

[xtdfsql]

这里有现成写好的豆瓣爬虫，可以直接使用， http://www.shenjianshou.cn/index.php?r=market/configDetail&pid=12