这种网站爬去遇到问题请问怎么回事？

江南大富翁 2017-11-08 03:23:32

想去爬虫无讼案例上面的案例进行学习，打开一个网页是能看到内容，可是看源代码都是主页的源代码，python爬下来的也都是主页的源代码，请问大家，这是怎么回事儿？

...全文

165 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

CaiNiaoWuZui 2017-11-08

打赏
举报

回复

爬下来的当然都是主页源代码，网页的内容就包含在源代码里面。使用正则表达式/lxml/beautifulsoup 提取你想要的内容就行了。如果源代码里面没有你想要的内容，那用f12看看要发哪一个请求才能得到你的内容。如果看到的是乱码，那么decode()解码一下即可.

oyljerry 2017-11-08

打赏
举报

回复

是否扒取到正确URL了。内容不对，是不是页面异步加载的

这是 Java 网络爬虫系列博文的第二篇，在上一篇 Java 网络爬虫，就是这么的简单中，我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时，遇到需要登录的网站，我们该怎么办？在做爬虫时，遇到需要登陆的问题也比较常见，比如写脚本抢票之类的，但凡需要个人信息的都需要登陆，对于这类问题主要有两种解决方式：一种方式是手动设置 cookie ，就是先在网站上...

今天来总结一下在爬虫遇到的特殊情况，利用正则或者xpath来匹配提取数据，偶尔会发现可以找到这个对象，却无法提取它的下一阶层的数据，这是怎么一回事？自己分析结果有以下几种：（1）自己的匹配写错了，怎么可能，我再三检查，对的不能再对了，排除这种情况，毕竟是本宝宝写的，谁还没有点小自信了。（2）可能是User-Agent浏览器版本不兼容，遇到这种情况要注意了，先检查一下自己爬取的数据，看...

从开始玩爬虫到现在差不多半年多了，写了不少爬虫，爬了不少网站，在博客里也分享了不少爬虫的教程。我的教程文章中，一般会附带完整的爬虫代码，大家只要搭建好环境，便可以直接运行使用。不少读者朋友在使用爬虫遇到问题时也会跟我讨论，交流过程中我发现了一些比较共性的问题。因此文章重点放在了思路分析上，具体如何编写代码爬取数据则简单略过。造成了一些读者，基于我的代码进行修改爬取其他相似网站时束手无策。 ...

最近由于工作需要开始接触爬虫，作为一个小白，真的是像个屋头苍蝇，下面主要是针对我自己遇到的问题以及解决办法做一下记录。。。 ①登录网页：包含用户名、密码、验证码，获取cookie 网页源码格式： <script type=text/javascript src=static/js/manifest.37a2ecbb1d1b7e6c9ada.js></script> ...

笔者使用python2.7+requests编写爬虫，以下问题针对此情况讨论。笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向(Redirect)就是通过各种方法（本文提到的为3种）将各种网络请求重新转到其它位置（URL）。每个网站主页是网站资源的入口，当重定向发生在网站主页时，如果不能正确处理就很有可能会错失这整个网站的内容。笔者编写的爬虫在爬取网页时遇到了三...

37,721

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章