21,893
社区成员
发帖
与我相关
我的任务
分享PHP 如何 批量 采集 数据 ，并且不超时？
现在正在做一个商城，需要每天定时从一号店获取商品价格来更新本地价格，大概5000条左右。
程序是用PHP 写的，方法就是简单的file_get_content ,但是循环读取的时候，总提示超时，上网查了一下，这是PHP本身的问题。
我现在应该用什么办法？
程序是用PHP 写的，方法就是简单的file_get_content ,但是循环读取的时候，总提示超时，上网查了一下，这是PHP本身的问题。
我现在应该用什么办法？
...全文
请发表友善的回复…
发表回复
bear63 2016-01-03
- 打赏
- 举报
我个人觉得开发一个小软件，处理会更快，更容易些，例如弄个C# 多线程，5000条价格数据，10分钟以内就能完成。
当然，软件还可以放在服务器上，更是高枕无忧啊。。
xuzuning 2015-12-30
- 打赏
- 举报
用多道 curl 或用 socket 启用多进程
pengboy 2015-12-30
- 打赏
- 举报
是通过 WEB 来处理的。
最后的诗人 2015-12-30
- 打赏
- 举报
可以加大服务器和Php的超时时间，php是set_time_limit(0);服务器的apache和nginx的不一样，你可以百度一下。
最后需要重启一下服务器
gdmm919705 2015-12-30
- 打赏
- 举报
把php和服务器容器超时限制设为无限，php可用内存加大。就不会再出现此问题
misaka去年夏天 2015-12-30
- 打赏
- 举报
1、Linux或者windows的计划任务可以做定时任务
2、phpquery是一款强大的采集库，可以满足你的采集需求
3、ignore_user_abort和set_time_limit函数可以让php脚本不超时执行
userkang 2015-12-30
- 打赏
- 举报
用php写个脚本 不要在脚本里写循环 然后在linux下执行计划任务
傲雪星枫 2015-12-29
- 打赏
- 举报
可以设置超时时间大一些。
李睿_Lee 2015-12-29
- 打赏
- 举报
你是通过Web的方式来执行？还是CLI？
设置好相应的超时时间。
PHP脚本里可以用set_time_limit函数来设置最大执行时间。如果是通过Web的方式，可能还要设置相应服务器的超时时间。
智商众筹 2015-12-29
- 打赏
- 举报
查一下curl的多线程
