python httplib2的一些问题

cogbee 2014-05-05 08:59:59

为了得到一个网页的大小,我使用了httplib2.代码如下:

import pdb
import httplib2
pdb.set_trace()
def findsize():
h = httplib2.Http('.bwlc')
res,con=h.request('http://www.baidu.com')
print res
if __name__ == '__main__':
findsize()


按照道理,我应该能够得到一些东西然后使用res['content_length']就可以获取返回的网页的大小了。但是问题出现了。
我使用的burpsuite抓包发现:得到的内容如下:
HTTP/1.1 200 OK
Date: Mon, 05 May 2014 00:54:52 GMT
Content-Type: text/html
Connection: Keep-Alive
Cache-Control: private
Expires: Mon, 05 May 2014 00:54:52 GMT
Server: BWS/1.1
BDPAGETYPE: 2
BDQID: 0xb8b723100006ea5f
BDUSERID: 251914591
Set-Cookie: BDSVRTM=131; path=/
Set-Cookie: H_PS_PSSID=6245_1468_5223_6023_4760_6017_6258_6326_6270; path=/; domain=.baidu.com
Content-Length: 125840

使用python编写的代码得到的结果如下:
{'status': '200', 'content-length': '50033', 'bdqid': '0xa696774c0006bf09', 'x-p
owered-by': 'HPHP', 'transfer-encoding': 'chunked', 'set-cookie': 'BAIDUID=D9146
C152BFD5B3834E67143B94D0153:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2
147483647; path=/; domain=.baidu.com, BDSVRTM=0; path=/, H_PS_PSSID=6012_5230_14
51_5225_6023_4760_6018_6326_6269; path=/; domain=.baidu.com', 'expires': 'Mon, 0
5 May 2014 00:55:20 GMT', 'vary': 'Accept-Encoding', 'bduserid': '0', 'connectio
n': 'Keep-Alive', '-content-encoding': 'gzip', 'cache-control': 'private', 'date
': 'Mon, 05 May 2014 00:55:48 GMT', 'p3p': 'CP=" OTI DSP COR IVA OUR IND COM "',
'server': 'BWS/1.1', 'content-type': 'text/html; charset=utf-8', 'bdpagetype':
'1', 'content-location': 'http://www.baidu.com'}

首先里面很多不一样。我需要的content-length就不一样。我需要的是像burpsuite抓包得到的那样的content_length。请问,这个httplib2返回的网页为什么跟burpsuite不一样呢?哪里出错了吗?
...全文
119 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

10,608

社区成员

发帖
与我相关
我的任务
社区描述
Web 开发 其他
社区管理员
  • 其他
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧