Python爬虫抓取下来的内容跟网页的源码不一样？

[miangmiang咩]

最近在学习爬虫，想把http://image.baidu.com/activity/starfans/2220260263?&albumtype=0上面的刘亦菲的图片全抓取下来，但是使用python抓取下来的网页内容跟网页的源码不一样，以致于使用beautiful soup或者正则表达式都无法找到匹配的内容，代码如下所示：

import requests
import bs4

url = "http://image.baidu.com/activity/starfans/2220260263?&albumtype=0" 
r = requests.get(url)
if r.status_code == 200:
	re_file = r.text
	soup = bs4.BeautifulSoup(re_file)
	#print soup.prettify()
	print soup.find(name="div", attrs={"class":"img-container"}) #找到"<div class=img-container"这个模块，由于无法找到该模#块，所以还没有写匹配项
	
else:
	print("error 404!...")

其使用urllib2的urlopen()函数也是一样的结果

[miangmiang咩]

因为是这是动态网页，里面加载了js，所以源码跟审查元素的内容不一样

[胖胖的飞象]

同楼上建议先看下是静态加载还是动态加载，解析是否解析正确，建议可以学下xpath比bs4好用

[qq_28262591]

可以用第三方库试试，像selenium