有什么方法可以抓取今日头条的文章内容，用PHP

紫色田园 2019-11-12 05:43:37

比如抓到title和description，还有body里面的内容。前段时间可以，现在不行了。

...全文

2343 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

浴火_凤凰 2020-07-01

打赏
举报

回复 1

使用 CURL不行吗？是不是缺少什么Header啊？首先使用抓包看看浏览器或者APP发送的数据的header是什么然后全部复制到代码里应该就可以了

俗人乄 2020-05-13

打赏
举报

回复

我又解决办法联系我 2416279036

qq_38476535 2021-10-12

举报

回复

@俗人乄您那里有可以直接抓取下来的代码吗

程序猿视界 2019-11-13

打赏
举报

回复

querylist包去抓一下

于小九 2019-11-12

打赏
举报

回复

可以尝试一下phantomjs扩展

本教程介绍了如何使用八爪鱼采集器从今日头条网站抓取文章列表、文章详情页的正文及图片。通过创建循环列表、编辑字段、设置页面滚动等步骤，实现数据的完整采集，并能导出为多种格式。

本文详细介绍如何使用ajax加载显示数据的今日头条进行新闻采集，包括分析页面请求、创建采集任务、匹配内容页网址及编写规则获取文章标题和正文的方法。

本文介绍了一种使用蓝天采集器从今日头条网站抓取数据的方法，包括分析网页结构、编写匹配规则等步骤，适用于需要批量获取头条文章标题和内容的场景。

该博客详细介绍了如何通过分析网络请求和使用正则表达式，从今日头条网站抓取搜索结果列表及文章内容。首先，通过Chrome浏览器的开发者工具定位到XHR请求，获取到ajax加载的列表页链接。接着，在蓝天采集工具中创建任务，设置起始页网址和匹配内容页网址的正则规则。然后，通过分析文章源码，定义标题和正文的规则进行内容匹配。最后，测试并保存规则，实现数据的抓取。该教程适合想要学习网页数据抓取的读者实践操作。

20,394

社区成员

19,656

社区内容

发帖

与我相关

我的任务

phpphpstorm 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章