PHP 如何 批量 采集 数据 ,并且不超时?

pengboy 2015-12-29 05:24:29
现在正在做一个商城,需要每天定时从一号店获取商品价格来更新本地价格,大概5000条左右。
程序是用PHP 写的,方法就是简单的file_get_content ,但是循环读取的时候,总提示超时,上网查了一下,这是PHP本身的问题。
我现在应该用什么办法?
...全文
345 10 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
bear63 2016-01-03
  • 打赏
  • 举报
回复
我个人觉得开发一个小软件,处理会更快,更容易些,例如弄个C# 多线程,5000条价格数据,10分钟以内就能完成。 当然,软件还可以放在服务器上,更是高枕无忧啊。。
xuzuning 2015-12-30
  • 打赏
  • 举报
回复
用多道 curl 或用 socket 启用多进程
pengboy 2015-12-30
  • 打赏
  • 举报
回复
是通过 WEB 来处理的。
最后的诗人 2015-12-30
  • 打赏
  • 举报
回复
可以加大服务器和Php的超时时间,php是set_time_limit(0);服务器的apache和nginx的不一样,你可以百度一下。 最后需要重启一下服务器
gdmm919705 2015-12-30
  • 打赏
  • 举报
回复
把php和服务器容器超时限制设为无限,php可用内存加大。就不会再出现此问题
misaka去年夏天 2015-12-30
  • 打赏
  • 举报
回复
1、Linux或者windows的计划任务可以做定时任务 2、phpquery是一款强大的采集库,可以满足你的采集需求 3、ignore_user_abort和set_time_limit函数可以让php脚本不超时执行
userkang 2015-12-30
  • 打赏
  • 举报
回复
用php写个脚本 不要在脚本里写循环 然后在linux下执行计划任务
傲雪星枫 2015-12-29
  • 打赏
  • 举报
回复
可以设置超时时间大一些。
李睿_Lee 2015-12-29
  • 打赏
  • 举报
回复
你是通过Web的方式来执行?还是CLI? 设置好相应的超时时间。 PHP脚本里可以用set_time_limit函数来设置最大执行时间。如果是通过Web的方式,可能还要设置相应服务器的超时时间。
智商众筹 2015-12-29
  • 打赏
  • 举报
回复
查一下curl的多线程

21,893

社区成员

发帖
与我相关
我的任务
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧