求网络爬虫设计思路

statichu2 2012-06-28 11:17:15

1.有一些信息的内容爬取是需要在需要通过ajax请求来获取的，图片集中的图片也是通过js数组、json数组来存放的，某些信息的分页链接是通过js变量计算来获得或者通过数组等获取URL地址。对于这些情况应该如何处理？
2.现在我的爬虫项目中只能提取存放在<img>标签中的图片信息,如何提取存放在其他地方的图片,比如新浪图片集中将图片存放在<dd>标签中,第一个<dd>是大图,第二个<dd>是中图,第三个是小的,我们怎样才能在多个<dd>标签中提取所需要的过滤掉不想要的图片信息? js中的图片又该如何提取?
3.针对上面的问题是否需要给用户提供接口使用户可以自由定义自己想要的抓取策略？如果提供接口应该以哪种方式提供接口的问题？接口的规范应该如何把握？
项目用的是httpclient + jsoup，各位有没有什么好的思路交流一下

...全文

152 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

statichu2 2012-06-29

打赏
举报

回复

没人弄过吗？

C++网络爬虫，使用wget命令做的，较简单，不涉及socket编程，但总体设计思路还是和基于socket的爬虫一样。如需基于socket爬虫，请到我的github下载：https://github.com/qq879343544/webSpider

目的意义基础爬虫分5个模块，使用多个文件相互配合，实现一个相对完善的数据爬取方案，便于以后更完善的爬虫做准备。这里目的是爬取200条百度百科信息，并生成一个html文件，存储爬取的站点，词条，解释。功能模块主文件：爬虫调度器，通过调用其他文件中的方法，完成最终功能实现。其他文件：URL管理器，HTML下载器，HTML解析器，数据存储器。设计思路定义SpiderMan类作为爬虫调度器。输入根URL开...

python爬虫基本思路一、明确需求首先我们要明白我们爬取的具体是什么内容，比如爬取文章标题，爬取图片，爬取实时新闻二、建立request请求 1.使用的是哪一种请求方式，get post等 2.获取请求URL，确定请求连接 3.拼接头部信息，User-Agent，Host,Cookies等 4.设置请求体，即请求时额外携带的数据，比如表单提交时的表单数据。三、获取数据获取请求响应状态，比如200、404、301、502等；四、解析数据 1、使用json解析数据； 2、使用正则表达式提取数据；

网络爬虫一般我们在网络上抓取数据时，都会想到要使用网络爬虫，那我们就来看看一般网络爬虫的实现思路。设计模式爬虫的中心思想就是以最初一个Url为注入点，从这个Url抓取更多Url，并从这些网页中获取自己想要的数据。所以，我们可以使用一个队列来存储这些Url，然后使用生产者消费者模式来对这个队列进行维护。Queue urlQueue=new Queue(); publi

什么是爬虫？爬虫就是从网上获得数据，它是通过编程来实现的。对于非计算机专业的人来说，一提到编程两个字，可能就会觉得自己做不到。但其实并不是这样，编程就是通过写代码，来让计算机实现你的想法。你解决问题的想法，就会影响你编程时写的代码。对于爬虫这件事情，就是从网上获取数据，那么相对应的代码就不会有太大的变化。比如你爬取58同城的求职和爬猫眼电影的电影数据的代码并不会有太大的差别。我写过的每个关于...

81,092

社区成员

341,717

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章