爬虫问题

柯莹 2016-08-29 08:02:33

若我想爬下来“中关村在线”下某一类（比如手机）的所有属性信息（上市时间、手机类型、触摸板类型等）和所有评论信息，应该怎么爬取方便一些？有人有这种思路吗？

中关村手机列表页面：http://detail.zol.com.cn/cell_phone_index/subcate57_list_1.html
中关村手机详情页面：http://detail.zol.com.cn/cell_phone/index1145877.shtml
中关村手机参数页面：http://detail.zol.com.cn/1146/1145877/param.shtml
中关村手机评论页面：http://detail.zol.com.cn/1117/1116686/review.shtml

...全文

2033 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

赵4老师 2016-08-30

打赏
举报

回复

不知道WebSeizer是不是能找到开源版本。

smallcrocodile 2016-08-30

打赏
举报

回复

个人感觉是可以的，但是要去问专业点的

课程介绍：大数据时代，python爬虫工程师人才猛增，本课程专为爬虫工程师打造，本课程是爬虫工程师的入门阶段，了解爬虫的领域，能做什么，爬虫原理，抓包工具的调教使用，每一个爬虫都会涉及到抓包，属于爬虫工程师的必备硬核技能，带你系统学习。课程精选多个实战项目，从易到难，层层深入。不同项目解决不同的抓取问题，带你从容抓取主流网站，进阶部分针对性讲解数据抓取的难点和面试考点，让你牢牢掌握爬虫工程师硬核技能

本文将描述一种尽量简单的反爬虫方案，可以在十几分钟内解决部分简单的爬虫问题，缓解恶意攻击或者是系统超负荷运行的状况；至于复杂的爬虫以及更精准的防御，需要另外讨论。爬虫和反爬虫日益成为每家公司的标配系统。爬虫在情报获取、虚假流量、动态定价、恶意攻击、薅羊毛等方面都能起到很关键的作用，所以每家公司都或多或少的需要开发一些爬虫程序，业界在这方面的成熟的方案也非常多;有矛就

电商爬虫问题与总结（一）总结之前，先放上github地址，有任何想法和建议的欢迎指出：电商爬虫此次电商数据采集器（爬虫）共采集10个电商平台（淘宝、天猫、京东、国美、苏宁、拼多多、亚马逊、1688、一号店、慧聪）的数据，这里将公司的业务需求全部去除掉，基本的电商数据是全的。下面简单说一下整个的思路：采集器使用activemq作为消息队列，采用生产者和消费者的模式，用来分发任务与...

前言记录抓包一、阐述原因：由于目前很多app都有反爬虫机制，以及不走代理，进行了加密，所以我们基本都抓不到包尝试解决：使用各种抓包工具，以及查阅了抓不到包的原因，抓包过程的各种原理参考：初级篇： https://zhuanlan.zhihu.com/p/46433599 中级篇： https://zhuanlan.zhihu.com/p/56397466 高级篇： https://zhuanlan.zhihu.com/p/63028507 Flash+加密解决： https://zhuan

爬虫问题：requests的content和text 通常来说，text获取的是Unicode编码的文本数据，content获取的是byte类型的二进制数据，比如获取图片本身、PDF文件之类的，可以用content。但是有时候，我们使用text获取文本的时候，会出现一些难以解决的编码问题，这个时候，我们可以使用content.decode("utf-8")。仅仅使用content，出现很多\...

1,557

社区成员

281

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章