有没有关于自动到其它网站去抓取信息的文章？

树_皮 2005-03-25 03:35:52

有没有关于自动到其它网站去抓取信息的文章？有没有这方面技术性的文章可供参考学习？

...全文

91 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

chengxiangbo 2005-04-03

打赏
举报

回复

使用xmlhttp就可以实现了，你可以上网找一下关于xmlhttp的文章

树_皮 2005-04-03

打赏
举报

回复

有没有关于自动到其它网站去抓取信息的文章？有没有这方面技术性的文章可供参考学习？

lianzy 2005-03-28

打赏
举报

回复

use xml

树_皮 2005-03-28

打赏
举报

回复

没有知道吗？

一个JAVA开发的简单网络爬虫可以实现对指定站点新闻内容的获取程序很简单大家一起学习

一、操作步骤今天教大家抓取搜狐的新闻文章，重点讲解怎么抓取到完整的正文内容，怎么批量抓取到更多新闻，方法是通用的，大家可以应用到其他新闻网站的抓取，总体操作步骤如下：二、案例+操作步骤采集规则：搜狐新闻正文采集样本网址：http://www.sohu.com/a/227999170_123753?_f=index_chan08news_8&qq-pf-to=pcqq.temporaryc2...

如果你有具体需求（比如实时监控或特定公众号），可以告诉我，我再帮你细化方案！另外，注意微信的反爬机制和使用条款，避免账号风险。如果你不想自己写代码，可以直接使用一些开源工具，这些工具通常基于微信客户端或网页端，操作简单，适合初学者。如果你有一定编程能力，可以通过 Hook PC 版微信客户端来抓取文章。利用搜狗微信（https://weixin.sogou.com/）搜索公众号文章，抓取公开内容。如果你有自己的微信公众号，可以通过登录公众平台，利用 Python 等工具模拟登录并抓取。

requests：用于发送HTTP请求，获取网页的HTML内容。：用于解析HTML，提取网页中的文本信息。Selenium：用于抓取动态网页（如JavaScript渲染的内容）。pandas：用于数据处理与存储。lxml：提供更快速和高效的HTML解析功能。本文介绍了如何使用Python爬虫抓取学术文章并提取关键信息。我们使用了requests和Selenium等工具，展示了如何从静态和动态网页中提取标题、作者、摘要等信息，并将数据存储为CSV文件，方便后续分析。

1. 自己手工打造的工具测试链接：http://mhtclub.com/html2richtext/ 在下面输入框输入想要抓取的公众号文章，点击获取文章内容，即可获取文章内容。目前支持抓取 https://weixin.sogou.com/ 上的所有文章。后续可以扩展支持更多网站的文章的抓取。主要功能有两点： 1. 将html元素转化为ckeditor的富文本内容； 2...

28,406

社区成员

356,946

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章