爬虫返回500HTTP码是怎么回事？

[Mock_pipi]

1.用Python的scrapy写了一个基于BaseSpider的爬虫爬取一个网站，成功
2.用基于CrawlSpider的爬虫爬取同一个网站，返回500，如图

求助是怎么回事？

[_Neo]

服务器出错，等待大神解答

[macrojj]

这是JS 访问服务器报的错。 说明你这两个爬虫对JS的支持不一样。

[Mock_pipi]

引用 2 楼 macrojj 的回复:

这是JS 访问服务器报的错。 说明你这两个爬虫对JS的支持不一样。

可是代码里并没有涉及JS

[白白洗白白]

楼主解决了吗 我也碰到。。。

[anmei4946286527]

楼主爬的是知乎嘛。。？我猜的，因为我也遇到相同的情况= =

[anmei4946286527]

引用 4 楼 hoho941111 的回复:

楼主解决了吗 我也碰到。。。

你爬的是知乎嘛。。？

[principl]

你试试用浏览器看能访问吗？如果不能，很可能是服务器被你爬崩溃了，有些小站点经不住爬虫快速爬取的。

[shuidi021]

我的网站也遇到类似情况， 百度站长抓取提示“服务器错误：爬虫发起抓取，httpcode返回码是5XX ”， 求大神帮忙分析一下我的网站，www.oushenwenji.net，谢谢！