求助，爬虫没有返回div包含的内容

weixin_41121768 2018-05-23 11:27:42

图一是返回的代码，图二是网页的源代码
<div class="view_title clearfix">下的子标签的内容没有返回，有大佬知道是怎么回事吗

...全文

2679 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

幽饮烛 2018-06-08

打赏
举报

回复

看太多 python 的文章了吧。那些文章基本上都不守规矩，也没处理robots.txt规则。现在做网页里的内容不少是用 js 生成的，所以爬虫是抓取不到html数据。

天际的海浪 2018-06-08

打赏
举报

回复

那些内容应该是由js代码（如ajax）动态生成的。在html源文件中没有，一般爬虫是获取不到的。

qiu豆麻dei 2018-06-08

打赏
举报

回复

帖子分类选错了吧.....................

1.什么是状态码301301 Moved Permanently(永久重定向) 被请求的资源已永久移动到新位置，并且将来任何对此资源的引用都应该使用本响应返回的若干个URI之一。如果可能，拥有链接编辑功能的客户端应当自动把请求的地址修改为从服务器反馈回来的地址。除非额外指定，否则这个响应也是可缓存的。比如，我们访问http://www.baidu.com 会跳转到https://www.bai...

通过python的爬虫程序，爬取天气预报的信息，包括当前的温度等，程序中规中矩，但是可以使用，效果还可以

Python高级应用程序设计任务要求用Python实现一个面向主题的网络爬虫程序，并完成以下内容：(注：每人一题，主题内容自选，所有设计内容与源代码需提交到博客园平台)一、主题式网络爬虫设计方案(15分)1.主题式网络爬虫名称基于requests库抓取实习僧网站进行岗位分析2.爬虫架构设计受爬虫中反爬策略影响，为了能够顺利抓取不影响本机ip的情况下选择使用代理的方式进行数据的抓取。于是我将爬虫的抓...

最近导师给了一个任务：用Python爬取中国官员的官方信息，然后将信息中的关键信息（时间地点任务blablabla）抽取出来，绘制他们的关系图。千里之行始于足下，我就从Python爬虫开始。首先上代码： from urllib import request from bs4 import BeautifulSoup url='http://cpc.people.com.cn/gbzl/

from bs4 import BeautifulSoupimport requestsimport osimport lxmlimport parselheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183....

61,115

社区成员

60,728

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章