http网页抓取的问题

a7458969 2016-02-22 10:53:53

我在做一个HTTP网页解析的项目，在网页数据抓取上面遇到一些麻烦，我要抓取的数据像新浪微博的帖子一样，只会显示一部分，需要将下拉栏拉取到指定位置，才能显示下一部分，麻烦的是我用CHROME获取下拉栏下拉的消息过于复杂，没有规律，还有个问题上我用Libcurl无法像浏览器一样，一边发送消息，一边把文件下载下来。有没有人有什么解决方案或则建议。

...全文

397 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

a7458969 2016-03-08

打赏
举报

回复

问题是页面的ajax接口怎么获取

每天看一遍，防止恋爱&&堕落 2016-02-24

打赏
举报

回复

下拉栏下拉？应该是页面滑块吧？不复杂啊这功能，用selenium或者直接调用他的ajax接口不就可以了么！

学习利用抓取股票信息

面对铺天盖地的大数据，怎样才能快速发现其中的趋势、找到数据走势，从而改变工作模式，这是摆在数据工作者面前的难题。如果您知道如何做到这一点，那么对于企业和个人使用来说，网络抓取似乎是一种非常有用的节省时间的工具。我们将重点介绍为什么您应该使用 Python 进行网页抓取，并为您提供有关如何完成它的快速教程，包括使用哪些Python 开发工具。因此，下一步是部署抓取程序，将信息复制到您请求的数据库中。要获得您希望抓取为Python友好格式的信息，您需要使用执行HTTP请求的Python包。

网页抓取（也称为网络数据提取或网页爬取）是指从网上获取数据，并将获取到的非结构化数据转化为结构化的数据，最终可以将数据存储到本地计算机或数据库的一种技术。网页抓取是通过抓取软件实现的。当你在使用浏览器如Chorme浏览页面的时候，我们可以抓取的不仅仅是你所浏览的页面的数据，还有你浏览器本地的缓存（饼干）。是不是开始担心你的隐私了？是的，我也有这样的担心，不过我们在这里不讨论这个问题...

— Python网页抓取教程:循序渐进 — 抓取网页入门其实挺简单的。在之前的文章中我们介绍了怎么用C#和JAVA两种方法来抓取网页，这一期给大家介绍一种更容易，也是使用最广泛的一种抓取方法，那就是Python。说起Python，大家应该并不陌生，它是目前入门最简单的一种方法了，因为它是一种面向对象的语言。Python的类和对象比任何其他语言都更容易使用。此外，Python存在许多库，因而在Python中构建用于网页抓取的工具轻而易举。在这篇Python网络抓取教程中，我们将分步骤讲解如何利..

Web Scraping，也称为数据提取或数据抓取，是从网站或其他来源以文本、图像、视频、链接等形式提取或收集数据的过程。当特定网站没有官方 API 或对数据访问有限制时，Web Scraping 很有用。它具有价格监控、媒体监控、情感分析等多种用途。数据现在已成为市场上的新石油。如果使用得当，企业可以通过领先于竞争对手来实现目标。这样，他们就可以利用这一优势来超越竞争对手。你拥有的相关数据越多，你做出的决定就越明智。

跨浏览器开发

5,006

社区成员

2,692

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章