菜鸟请教一个关于python生成json文件的问题~

isfirst 2014-04-23 11:15:29
我现在需要登陆一个鉴权的网站,然后将服务器生成的html保存成json文件,然后解析其中的数据
鉴权的代码如下
username = "xxx"
password = "xxx"
login_url = "xxx"
base_url = "xxx"
body = (('j_username',username ), ('j_password',password))
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
opener.addheaders = [('User-agent',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)')]
urllib2.install_opener(opener)
req = urllib2.Request(login_url,urllib.urlencode(body))
try:
u = urllib2.urlopen(req)
except urllib2.HTTPError as e:
print e.code

鉴权通过以后需要抓取服务器页面上的数据:
u = urllib2.urlopen(base_url)
调用的这个函数返回的是一个html格式的数据,现在需要解析其中的数据,用json.loads(u)无法执行 因为u的格式不是string类型的,如果保存为json格式的文件然后再解析,用urllib.urlretrieve()这个函数,因为urllib没有绑定用户名和密码 所以只能下载鉴权的页面,请教各位大侠如果不下载为json文件,应该如何解析u = urllib2.urlopen(req)生成的html或者有没有其他办法保存html为json的格式


...全文
294 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
angel_su 2014-04-23
  • 打赏
  • 举报
回复
试试json.load(u)...

37,722

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧