php脚本运行时长,用set_time_limit设置无效

Walkline 2017-06-05 11:55:37
我用php脚本循环获取一些网站上的数据,本地测试的时候耗时不到20分钟,可以正确获取数据,可是部署到阿里云的虚拟主机上,就算每次循环之前都设置set_limit_time(0)和ini_set("max_execution_time" , 0),脚本运行大约15分钟左右就结束,看日志抛出了一个500错误

把数据量改小点的话就没问题,我知道set_limit_time(0)和ini_set("max_execution_time", 0)在安全模式下无效,因为是虚拟主机,所以也不能改配置文件

我想到一个折中的办法,就是分批获取数据,不过有个问题我想先确认一下

我原来是把获取网站数据的代码放在一个函数中


function queryData() {
foreach ($city_list as $lists) {
foreach ($lists['cities'] as $city) {
file_get_contents(...); //query data according to $city's value
}
}
}


上边这一堆正常情况下需要20分钟左右,然后虚拟空间不能设置超时时间会抛出500错误

那么如果改成分批获取


function queryData() {
foreach ($city_list as $lists) {
queryCityData($lists);
}
}

function queryCityData($lists) {
foreach ($lists['cities'] as $city) {
file_get_contents(...); //query data according to $city's value
}

return;
}


这两个函数写在一个文件里,那么这个默认超时总时长是不是还是一起计算的?也就是总时长还是15分钟左右?

如果把queryCityData()函数写在另外一个文件里,总时长会不会每次调用都清零一次?

还是说照调用queryData()时就开始计算时间,直到它返回,计时才结束?
...全文
1442 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
Walkline 2017-06-06
  • 打赏
  • 举报
回复
引用 5 楼 mengziwudao 的回复:
ini_set('memory_limit', '128M') 运行内存不足的话建议设置这个参数
嗯,试了unset数据没用还是溢出,最后设置内存搞定了,只是不知道为什么写入数据库虽然成功了但是没数据
  • 打赏
  • 举报
回复
ini_set('memory_limit', '128M') 运行内存不足的话建议设置这个参数
Walkline 2017-06-05
  • 打赏
  • 举报
回复
引用 2 楼 xuzuning的回复:
当前页面需要使用那些数据吗? 如不需要,就放到后台去执行
就是把数据写入数据库,不过这已经是在服务端运行了,只是给前端一个返回值告诉它执行结束了,不知道你说的后台执行是不是还有其它方法?
xuzuning 2017-06-05
  • 打赏
  • 举报
回复
当前页面需要使用那些数据吗? 如不需要,就放到后台去执行
Walkline 2017-06-05
  • 打赏
  • 举报
回复
补充一下,设置 set_time_limit(5); ini_set("max_execution_time", 5); 脚本也不会在5秒钟的时候结束,也就是设置无效。。。。。
Walkline 2017-06-05
  • 打赏
  • 举报
回复
说出来你们可能不信。。。。加了register_shutdown_function()看了下抛出的错误,居然是内存耗尽。。。。。。尝试使用unset()销毁用过的数据,看看效果吧。。。。。。
更新说明: 2017-02-04(yaya) Ls command: Empty Folder returns false. 2016-12-08(yaya) 修正lz4、vhd不显示解压缩进度指示。增加lzma解压缩进度指示。 2016-11-09(不点) 0x8205 bit 5 = 1: 使checkkey闲置循环停止指令。 2016-04-13(yaya) 支持动画菜单 setmenu --graphic-entry=类型=菜单行数=菜单列数=图形宽(像素)=图形高(像素)=菜单行间距(像素) 菜单项0的路径文件名 类型: 位0:高亮指定颜色 位1:高亮颜色翻转 位2:高亮显示线框 位7:背景透明(最好使用黑色背景) 文件名: *n.??? 格式 n=00-99 高亮颜色由 color HIGHLIGHT=0xrrggbb 指定。 字符可以使用任意字型、字高、颜色,可以辅以图标。 2016-03-25(yaya) 菜单字符可以使用不同字型。 例如:"七" 使用不同字型,将 .hex 文件中的 unicode 码 “4e03” 修改为 “0080”, 将菜单中的 "七" 修改为 “\X0080”。 2016-03-23(yaya) 增强 echo 函数功能。 例如:echo -e \x18 显示 UTF-8 字符 0x18。 echo -e \X2191 显示 unicode 字符 0x2191。 2016-03-15(yaya) 1.增加动画控制热键 F2:播放/停止。 2.增加动画控制位 0x835b,位0:0/1=停止/播放。 3.增加精简字库模式:--simp=起始0,终止0,...,起始3,终止3 中文可以使用 --simp= ,内置字库应当包含 DotSize=[font_h],['simp'] 例如:font --font-high=24 --simp= /24_24.hex DotSize=24,simp 不使用热键: 可以加载 32*32 unifont 全字库 使用热键: 可以加载 24*24 unifont 全字库 使用精简字库: 可以加载 46*46 汉字全字库 使用精简字库及热键:可以加载 40*40 汉字全字库 4.不再支持 bin 格式字库。 2016-03-03(yaya) 1.增加图像背景色设置方法。 splashimage --fill-color=[0xrrggbb] 作用之一,作为小图像的背景。 作用之二,直接作为菜单的背景(即不加载图像背景)。此时只设置字体的前景色即可。 2.增加动画菜单。 splashimage --animated=[type]=[delay]=[last_num]=[x]=[y] START_FILE 类型[type]:bit 0-3: 播放次数 bit 4: 永远重复 bit 7: 透明背景 type=00:禁止播放 播放n次:序列图像各显示n次,时间独占。可作为启动前导、序幕。 永远重复:序列图像无限循环,时间与菜单共享。可作为菜单里的动画。 背景透明:即抠像。要求4角像素为背景色。 背景色最好为白色或黑色,这样可以去除一些灰色杂波。若是彩色背景,则应当非常干净。 提醒:请以16进制方式输入。否则易错。 延迟[delay]:序列图像之间的延迟。单位是滴答,即1/18.2秒。 序列数[last_num]:序列图像总数(2位数,从1开始计数)。 偏移[x]、[y]:图像偏移,单位像素。 起始图像文件 START_FILE 命名规则:*n.??? n: 1-9 或 01-99 或 001-999。 3.增加固定图像的背景色可以透明。 splashimage [--offset=[type]=[x]=[y]] FILE 类型[type]:bit 7: 透明背景 2016-02-14(yaya) setmenu 函数增加菜单项目背景短/满参数(默认短) 2016-01-19(yaya) splashimage 函数增加图像起始偏移(默认0) 2015-08-20(yaya) 1.支持非

21,886

社区成员

发帖
与我相关
我的任务
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧