Python爬取天猫超市数据遇到重定向

[像在吹]

爬取天猫超市的牛奶信息时，遇到重定向问题：

代码如下：

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import urllib2,urllib,re
from bs4 import BeautifulSoup
import cookielib
url='https://list.tmall.com/search_product.htm?spm=a3204.7084717.1996500281.2.EUMiGi&cat=51462017' 
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'
                      ' Chrome/45.0.2454.101 Safari/537.36',
         'referer':url}

cookie=cookielib.CookieJar()
handler2=urllib2.HTTPCookieProcessor(cookie)
opener=urllib2.build_opener()
opener.add_handler(handler=handler2)
opener.addheaders = headers.items()
urllib2.install_opener(opener=opener)
page=opener.open(url)
print page.url    ####这里看到定向到登录页去了
html=page.read()
print html

其实我就是想获取超市的牛奶信息。。。。谢谢大家啦！

[屎克螂]

别傻了 天猫的网页还让你随便爬， 这个要做出来 得看懂它的js才行， 我建议你用selenium模块，操控浏览器来做

[像在吹]

引用 1 楼 uiuiy1的回复:

别傻了 天猫的网页还让你随便爬， 这个要做出来 得看懂它的js才行， 我建议你用selenium模块，操控浏览器来做

我上半年还爬过的啊。。别笑我，我就是来搞笑的