社区
脚本语言
帖子详情
这种网站爬去遇到问题请问怎么回事?
江南大富翁
2017-11-08 03:23:32
想去爬虫 无讼案例 上面的案例进行学习,打开一个网页是能看到内容,可是看源代码都是主页的源代码,python爬下来的也都是主页的源代码,请问大家,这是怎么回事儿?
...全文
177
2
打赏
收藏
这种网站爬去遇到问题请问怎么回事?
想去爬虫 无讼案例 上面的案例进行学习,打开一个网页是能看到内容,可是看源代码都是主页的源代码,python爬下来的也都是主页的源代码,请问大家,这是怎么回事儿?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
CaiNiaoWuZui
2017-11-08
打赏
举报
回复
爬下来的当然都是主页源代码,网页的内容就包含在源代码里面。使用正则表达式/lxml/beautifulsoup 提取你想要的内容就行了。 如果源代码里面没有你想要的内容,那用f12看看要发哪一个请求才能得到你的内容。 如果看到的是乱码,那么decode()解码一下即可.
oyljerry
2017-11-08
打赏
举报
回复
是否扒取到正确URL了。内容不对,是不是页面异步加载的
爬
虫出现空列表或者长度为0是
怎么回事
?
今天来总结一下在
爬
虫
遇到
的特殊情况,利用正则或者xpath来匹配提取数据,偶尔会发现可以找到这个对象,却无法提取它的下一阶层的数据,这是怎么一回事? 自己分析结果有以下几种: (1)自己的匹配写错了,怎么...
Java
爬
虫
遇到
需要登录的
网站
,该怎么办?
在这一篇中我们将简单的聊一聊在网络
爬
虫时,
遇到
需要登录的
网站
,我们该怎么办? 在做
爬
虫时,
遇到
需要登陆的
问题
也比较常见,比如写脚本抢票之类的,但凡需要个人信息的都需要登陆,对于这类
问题
主要有两种解决...
Python
爬
虫基础:使用 Python
爬
虫时经常
遇到
的
问题
合集
不少读者朋友在使用
爬
虫
遇到
问题
时也会跟我讨论,交流过程中我发现了一些比较共性的
问题
。 因此文章重点放在了思路分析上,具体如何编写代码
爬
取数据则简单略过。造成了一些读者,基于我的代码进行修改
爬
取其他...
爬
虫
遇到
重定向
问题
笔者使用python2.7+requests编写
爬
虫,以下
问题
针对此...每个
网站
主页是
网站
资源的入口,当重定向发生在
网站
主页时,如果不能正确处理就很有可能会错失这整个
网站
的内容。 笔者编写的
爬
虫在
爬
取网页时
遇到
了三...
什么是网络
爬
虫?
爬
虫有什么好处?
就像一只虫子在一幢楼里不知疲倦地
爬
来
爬
去。 你可以简单地想象:每个
爬
虫都是你的「分身」。就像孙悟空拔了一撮汗毛,吹出一堆猴子一样。 你每天使用的百度,其实就是利用了
这种
爬
虫技术:每天放出无数
爬
虫到各个...
脚本语言
37,743
社区成员
34,211
社区内容
发帖
与我相关
我的任务
脚本语言
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
复制链接
扫一扫
分享
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
试试用AI创作助手写篇文章吧
+ 用AI写文章