scrapy上的一点问题,求大神解答

小企鹅么么 2015-06-23 06:56:14
我用scrapy shell http://www.louisvuitton.cn/zhs-cn/products/tambour-large-quartz-brown-dial-leather-strap-002069,
通过response.body返回的代码被突然截断,和网页源代码不一样,那个网站稍微有点大,我怀疑是scrapy内部的原因。还有我的HTTP通过抓包是1.1的,和网上有个解答不同。
...全文
61 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
panghuhu250 2015-06-23
  • 打赏
  • 举报
回复
没问题啊. 文件是完整的(以</html>结尾).

/tmp/sotest/ scrapy shell http://www.louisvuitton.cn/zhs-cn/products/tambour-large-quartz-brown-dial-leather-strap-002069
:0: UserWarning: You do not have a working installation of the service_identity module: 'No module named service_identity'.  Pl
...
[s]   view(response)    View response in a browser

In [1]: response.body[-20:]
Out[1]: '  \r\n    \r\n </html>\r\n'

37,722

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧