如何获取动态网站上的查询数据？如何抓取动态网站数据？

闲适达人 2013-12-02 07:52:30

目前看到一个挺不错的网站，但是需要输入参数和查询条件才能查询出结果，相当于它是从数据库查询出来的结果，有没有什么工具或者源码能一次性将所有数据得到本地文件或者本地数据库当中呢？httplient?还是先获取他的循环静态html文件，然后从一个一个页面提取出数据来？如何抓取动态网站的数据大侠们觉得是怎么做？

...全文

215 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

tony4geek 2013-12-04

打赏
举报

回复

模拟数据请求，

teemai 2013-12-04

打赏
举报

回复

我觉得取数据不是什么难题，主要难点是在你分析请求的规律

teemai 2013-12-04

打赏
举报

回复

没这么简单。。你可以去分析下选择搜索条件之后的真实请求是什么，剩下的就是httpclient模拟发送请求了。

Defonds 2013-12-04

打赏
举报

回复

抓动态页面的相当于接口调用了

Java抓取网页数据的两种方法：（1）抓取原网页（2）抓取网页JS返回数据

Java爬虫，信息抓取的实现详细完整源码实例打包给大家，需要的可以下载下载学习！！！

我们所生活的数字世界正在不断地产生大量的数据。利用动态大数据已经成为企业数据分析的关键。在本文中，我们将回答以下几个问题： 1、为什么采集动态数据很重要? 2、动态数据是如何有效的促进业务增长? 3、最重要的是，我们如何能够轻松地获取动态数据? 1、为什么采集动态数据如此重要? 一般来说，通过持续监测动态的数据，你可以在最短的时间里做出正确的决策。更具体地说，获取动态...

本文介绍了如何使用 Python 爬虫抓取动态网页数据，包括分析动态网页、模拟用户行为、使用 Selenium 等技术。通过本文的介绍，读者可以了解到如何使用 Python 爬虫来获取动态网页中的数据，并可以在实际应用中灵活运用这些技术。

Colly 学习笔记(三)——爬虫框架，抓取动态页面 Colly 学习笔记(一)——爬虫框架，抓取中金公司行业市盈率数据 Colly 学习笔记(二)——爬虫框架，抓取下载数据 Colly 学习笔记(三)——爬虫框架，抓取动态页面数据前两章节主要讨论静态数据的抓取，我们只需要把网页地址栏中的url传到get请求中就可以轻松地获取到网页的数据，但是有的网页是动态页面，我们通过网页源代码无法找到数据，翻页时URL也没有改变。此时就无法抓取数据。比如 http://www.sse.com.cn/assor

81,092

社区成员

341,716

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章