社区
基础编程
帖子详情
PHP 如何 批量 采集 数据 ,并且不超时?
pengboy
2015-12-29 05:24:29
现在正在做一个商城,需要每天定时从一号店获取商品价格来更新本地价格,大概5000条左右。
程序是用PHP 写的,方法就是简单的file_get_content ,但是循环读取的时候,总提示超时,上网查了一下,这是PHP本身的问题。
我现在应该用什么办法?
...全文
345
10
打赏
收藏
PHP 如何 批量 采集 数据 ,并且不超时?
现在正在做一个商城,需要每天定时从一号店获取商品价格来更新本地价格,大概5000条左右。 程序是用PHP 写的,方法就是简单的file_get_content ,但是循环读取的时候,总提示超时,上网查了一下,这是PHP本身的问题。 我现在应该用什么办法?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
10 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
bear63
2016-01-03
打赏
举报
回复
我个人觉得开发一个小软件,处理会更快,更容易些,例如弄个C# 多线程,5000条价格数据,10分钟以内就能完成。 当然,软件还可以放在服务器上,更是高枕无忧啊。。
xuzuning
2015-12-30
打赏
举报
回复
用多道 curl 或用 socket 启用多进程
pengboy
2015-12-30
打赏
举报
回复
是通过 WEB 来处理的。
最后的诗人
2015-12-30
打赏
举报
回复
可以加大服务器和Php的超时时间,php是set_time_limit(0);服务器的apache和nginx的不一样,你可以百度一下。 最后需要重启一下服务器
gdmm919705
2015-12-30
打赏
举报
回复
把php和服务器容器超时限制设为无限,php可用内存加大。就不会再出现此问题
misaka去年夏天
2015-12-30
打赏
举报
回复
1、Linux或者windows的计划任务可以做定时任务 2、phpquery是一款强大的采集库,可以满足你的采集需求 3、ignore_user_abort和set_time_limit函数可以让php脚本不超时执行
userkang
2015-12-30
打赏
举报
回复
用php写个脚本 不要在脚本里写循环 然后在linux下执行计划任务
傲雪星枫
2015-12-29
打赏
举报
回复
可以设置超时时间大一些。
李睿_Lee
2015-12-29
打赏
举报
回复
你是通过Web的方式来执行?还是CLI? 设置好相应的超时时间。 PHP脚本里可以用set_time_limit函数来设置最大执行时间。如果是通过Web的方式,可能还要设置相应服务器的超时时间。
智商众筹
2015-12-29
打赏
举报
回复
查一下curl的多线程
php
多线程
批量
采集
下载图片的实现代码函数类
在
PHP
中,多线程处理任务通常通过pthreads扩展来实现,这在处理大量I/O密集型任务,如
批量
采集
和下载图片时非常有用。由于
PHP
本身是单线程的,使用多线程可以显著提高并发性和执行效率。在描述中提到了curl库的多...
PHP
多线程
批量
采集
下载美女图片的实现代码(续)
这篇文章可以看作是之前作品《
PHP
批量
采集
下载美女图片》的延伸,针对原有基于file_get_contents实现的图片
采集
方式进行优化。在原始实现中,使用file_get_contents函数
采集
400张图片需要超过70分钟,效率极低。本篇...
PHP
实现的curl
批量
请求操作示例
在这个例子中,我们设置URL、不返回头部信息、返回响应体、
超时
限制以及允许302重定向: ```
php
$urls = array( 'baidu' => "http://www.baidu.com/", 'cheyun' => "http://auto.jrj.com.cn/", 'w3c' => ...
帝国CMS免登录接口 图片
采集
无需FTP
"帝国CMS免登录接口 图片
采集
无需FTP"这个主题涉及到的是如何在不登录帝国CMS后台的情况下,实现远程图片的
采集
和上传功能,而且该过程不再依赖传统的FTP(File Transfer Protocol)服务。 在传统的网站内容管理中...
基于curl
数据
采集
之单页面并行
采集
函数get_htmls的使用
在
数据
采集
过程中,提高效率是至关重要的,尤其是当需要抓取大量网页时。`curl` 是一个非常强大的命令行工具,用于传输
数据
,同时也被广泛...通过这种方式,你可以高效地
批量
获取网页内容,显著提升
数据
采集
的效率。
基础编程
21,893
社区成员
140,347
社区内容
发帖
与我相关
我的任务
基础编程
从PHP安装配置,PHP入门,PHP基础到PHP应用
复制链接
扫一扫
分享
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章