爬取腾讯新闻自媒体时候,抓不到包,采集不到数据,请问有什么好办法

负刀入梦里 2018-08-02 05:48:22

以这个链接为例:
https://view.inews.qq.com/media/9408862
我想访问的网页格式是:
https://view.inews.qq.com/media/ +数字
在进行采集中发现,用fiddler和浏览器抓不到想要的数据,这个网页有用的源码很少,请问有什么办法可以采集这种网页吗?
能不能解释一下相关源码的作用,我看了一堆网页相关css 和js,感觉好像全是加密算法
应该可以用selenium模拟抓取,但是这样太慢了..

...全文

1002 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

负刀入梦里 2018-08-04

打赏
举报

回复

====人工置顶====

负刀入梦里 2018-08-03

打赏
举报

回复

引用 1 楼 f091542356 的回复:

用selenium虽然慢，但一直放在那让它自己采集不就好了吗？

1千两百万网页....我用scrapy直接访问都嫌慢...而且要定期更新一次.....听说这种加密js代码可以通过运行js来得到想要的数据,大神了解过这方面的知识吗

负刀入梦里 2018-08-03

打赏
举报

回复

====人工置顶====

Jian_openwrt 2018-08-02

打赏
举报

回复

用selenium虽然慢，但一直放在那让它自己采集不就好了吗？

软件测试腾讯会议项目实战教程-1.预定会议业务流软件测试腾讯会议项目实战教程-2.预定会议数据流软件测试腾讯会议项目实战教程-3.预定会议测试点软件测试腾讯会议项目实战教程-4.加入会议业务流软件测试腾讯会议项目实战教程-5.加入会议数据流软件测试腾讯会议项目实战教程-6.加入会议测试点软件测试腾讯会议项目实战教程-7.开会对参加人约束的业务流软件测试腾讯会议项目实战教程-8.开会对参加人约束的数据流软件测试腾讯会议项目实战教程-9.开会对参加人约束的测试点软件测试腾讯会议项目实战教程-10.视频会议，视频，音频质量测试的业务流软件测试腾讯会议项目实战教程-11.视频会议，视频，音频质量测试的数据流软件测试腾讯会议项目实战教程-12.视频会议，视频，音频质量测试的测试点

比如我对“科技”版块感兴趣，科技版块的链接是“http://tech.qq.com/” 。首先使用requests请求网页内容。status_code为200表示请求成功。headers是将请求伪装成浏览器行为。timeout设置不能太小，考虑到人的访问手速。import requestsheaders={ 'User-Agent':'Mozilla/5.0 (Windows NT 10

回顾2016年，我用爬虫做了很多事情。 1、微信好友的爬虫，了解一下你的好友全国分布，男女比例，听起来似乎是一个不错的想法，当然你还可以识别一下你的好友有多少人是用自己照片作为头像的，详细的内容可以点击这里：Python对微信好友进行简单统计分析 2、拉勾网的数据那么多的招聘信息有用吗？当然有用，你想了解一下你所在城市的各种主流语言（Java、PHP、JavaScript、Pytho...

随着互联网技术的飞速发展，信息已经成为了当今社会最宝贵的资源之一。然而，想要从海量的网络数据中获取有价值的信息并不是一件容易的事情。为此，人们开发出了各种各样的网络爬虫工具来帮助我们实现这个目标。而在这些工具中，腾讯云下的爬虫无疑是最受欢迎、最高效、最智能的一种。

爬虫概念：按照一定规则，自动请求万维网，并获取网页内容爬虫法律规范：robots君子协议爬虫限制：非法不允许（密码明令禁止的）服务器会做什么：反爬（检查你的信息（修改头部信息）；速度（降低速度）；半永久封号（代理ip）；验证码）爬虫的分类：通用爬虫和聚焦爬虫爬虫为什么选择python语言爬虫的原理：模拟的正常网站的使用200；浏览器浏览网页的过程：浏览器通过DNS域名服务器查找对应的ip地址向ip地址对应的web服务器发送请求。

37,721

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章