这种网站爬去遇到问题请问怎么回事?

江南大富翁 2017-11-08 03:23:32
想去爬虫 无讼案例 上面的案例进行学习,打开一个网页是能看到内容,可是看源代码都是主页的源代码,python爬下来的也都是主页的源代码,请问大家,这是怎么回事儿?
...全文
134 2 点赞 打赏 收藏 举报
写回复
2 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
CaiNiaoWuZui 2017-11-08
爬下来的当然都是主页源代码,网页的内容就包含在源代码里面。使用正则表达式/lxml/beautifulsoup 提取你想要的内容就行了。 如果源代码里面没有你想要的内容,那用f12看看要发哪一个请求才能得到你的内容。 如果看到的是乱码,那么decode()解码一下即可.
  • 打赏
  • 举报
回复
oyljerry 2017-11-08
是否扒取到正确URL了。内容不对,是不是页面异步加载的
  • 打赏
  • 举报
回复
相关推荐
发帖
脚本语言
加入

3.7w+

社区成员

JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
申请成为版主
帖子事件
创建了帖子
2017-11-08 03:23
社区公告

CSDN 脚本语言社区接受专栏投稿(专栏会在顶部创建专属你的栏目),投稿需满足以下要求:

  • 脚本语言技术相关;
  • 文章持续更新,保持活跃;
  • 内容清晰明了,干货为主;
  • 文章排版有序,有条有理。

本社区开通招聘专栏,发布招聘信息请联系版主,发布者需要保证招聘信息真实有效,CSDN 平台和版主不对招聘内容负责!

联系方式:私聊版主、发送邮件、QQ联系等均可: